VBD 
Trong thế giới ngày nay, phân tích dữ liệu lớn là “nhiên liệu” thúc đẩy mọi hoạt động tương tác trực tuyến của con người. Lấy ví dụ, nền tảng phát trực tuyến nhạc Spotify, với gần 96 triệu người dùng trên toàn cầu, đang tạo ra một lượng lớn dữ liệu mỗi ngày. Thông qua nguồn dữ liệu này, nền tảng đám mây sẽ tự động đề xuất các bài hát dựa trên lượt thích, lượt chia sẻ, lịch sử tìm kiếm, v.v. Đằng sau chiến lược của Spotify là các kỹ thuật, công cụ – kết quả của phân tích dữ liệu lớn.
Như vậy, có thể thấy phân tích dữ liệu lớn là quy trình được sử dụng để trích xuất thông tin có giá trị chẳng hạn như các đặc điểm, mối tương quan tiềm ẩn, xu hướng thị trường và thị hiếu của khách hàng. Phân tích dữ liệu lớn mang lại nhiều lợi ích khác nhau, giúp đưa ra quyết định tốt hơn, ngăn chặn các hoạt động gian lận,… Bài viết này sẽ đưa đến một cái nhìn chi tiết từ quy trình, phân loại và một số công cụ gợi ý.
Quy trình phân tích dữ liệu lớn
- Giai đoạn 1 – Đánh giá nghiệp vụ doanh nghiệp
- Giai đoạn 2 – Xác định nguồn dữ liệu
- Giai đoạn 3 – Lọc dữ liệu
- Giai đoạn 4 – Trích xuất dữ liệu – Dữ liệu không tương thích với công cụ phân tích sẽ được trích xuất và chuẩn hóa lại cho phù hợp
- Giai đoạn 5 – Tổng hợp dữ liệu – Trong giai đoạn này, dữ liệu có cùng trường trên các tập dữ liệu khác nhau được tổng hợp lại.
- Giai đoạn 6 – Phân tích dữ liệu – Dữ liệu được đánh giá bằng cách sử dụng các công cụ phân tích và thống kê để khám phá thông tin hữu ích.
- Giai đoạn 7 – Trực quan hóa dữ liệu – Với các công cụ như Tableau, Power BI và QlikView, các nhà phân tích dữ liệu lớn có thể tạo ra hình ảnh trực quan về dữ liệu phân tích.
- Giai đoạn 8 – Kết quả phân tích cuối cùng – Đây là bước cuối cùng của vòng đời phân tích dữ liệu lớn, ở đó kết quả cuối cùng được cung cấp cho các bên liên quan của doanh nghiệp.
Các loại phân tích dữ liệu lớn
Dưới đây là bốn loại phân tích Dữ liệu lớn:
- Phân tích mô tả
Phân tích mô tả tóm tắt dữ liệu quá khứ thành một biểu mẫu mà mọi người có thể dễ dàng đọc được. Phương pháp này phù hợp với việc xây dựng các báo cáo, chẳng hạn như doanh thu, lợi nhuận, doanh số bán hàng của công ty, v.v. Ngoài ra, phân tích mô tả cũng được áp dụng để lập bảng số liệu truyền thông xã hội.
- Phân tích chẩn đoán
Phân tích chẩn đoán được thực hiện để xác định nguyên nhân gây ra sự cố, sử dụng một số kỹ thuật như phân tích chi tiết, khai phá dữ liệu (data mining) và khôi phục dữ liệu (data recovery). Phân tích chẩn đoán giúp cung cấp cái nhìn sâu sắc về một vấn đề cụ thể.
Ví dụ: Báo cáo của một công ty thương mại điện tử cho thấy doanh số bán hàng có sự suy giảm, mặc dù khách hàng đã thêm sản phẩm vào giỏ hàng. Điều này có thể do nhiều lý do như biểu mẫu không chính xác, phí vận chuyển quá cao hoặc không có đủ tùy chọn thanh toán. Trong trường hợp này, phân tích chẩn đoán có thể được sử dụng để tìm ra lý do.
- Phân tích dự đoán
Phân tích dự đoán sử dụng khai phá dữ liệu, AI và học máy để phân tích dữ liệu trong quá khứ và hiện tại để đưa ra dự đoán về tương lai. Phương pháp này được ứng dụng nhằm dự đoán xu hướng của khách hàng, xu hướng thị trường, v.v.
Ví dụ: PayPal cần xây dựng các biện pháp an toàn bảo vệ khách hàng của mình trước các giao dịch gian lận. Bằng cách sử dụng phân tích dự đoán, công ty sử dụng tất cả dữ liệu thanh toán lịch sử và dữ liệu hành vi của người dùng, đồng thời xây dựng một thuật toán dự đoán các hoạt động gian lận.
- Phân tích đề xuất
Loại phân tích này đề xuất giải pháp cho một vấn đề cụ thể. Phân tích đề xuất được sử dụng kết hợp với cả phân tích mô tả và dự đoán. Phương pháp này phần lớn dựa vào AI và học máy.
Ví dụ: Phân tích mô tả có thể được sử dụng để tối đa hóa lợi nhuận của hãng hàng không. Loại phân tích này được sử dụng để xây dựng thuật toán tự động điều chỉnh giá vé chuyến bay dựa trên nhiều yếu tố, bao gồm nhu cầu của khách hàng, thời tiết, điểm đến, mùa lễ và giá dầu.
Công cụ phân tích dữ liệu lớn
Dưới đây là một số công cụ phân tích dữ liệu lớn:
- Hadoop – giúp lưu trữ và phân tích dữ liệu
- MongoDB – được sử dụng trên các tập dữ liệu thường xuyên thay đổi
- Talend – được sử dụng để tích hợp và quản lý dữ liệu
- Cassandra – cơ sở dữ liệu phân tán được sử dụng để xử lý data chunk
- Spark – được sử dụng để xử lý thời gian thực và phân tích lượng lớn dữ liệu
- STORM – một hệ thống tính toán thời gian thực mã nguồn mở
- Kafka – nền tảng trực tuyến phân tán phục vụ việc lưu trữ và có khả năng chịu lỗi cao.
