VBD 
Một môi trường dữ liệu lớn cần hỗ trợ việc lưu trữ, phân tích, xử lý dữ liệu. Tận dụng và tối đa hóa nguồn lợi từ dữ liệu không chỉ đòi hỏi phải lựa chọn đúng bộ công cụ và quy trình xử lý, mà còn phải cân nhắc đến cơ sở hạ tầng và công nghệ triển khai.
Cơ sở hạ tầng là một phần quan trọng của môi trường dữ liệu lớn. Nó bao gồm công cụ để thu thập dữ liệu, không gian lưu trữ dữ liệu, phần mềm sử dụng, ứng dụng xử lý, các công nghệ phân tích và mạng lưới chuyển đổi. Bài viết này sẽ đi từ khái quát đến chi tiết để bạn có cái nhìn tổng quan hơn về cơ sở hạ tầng dữ liệu lớn.
Cơ sở hạ tầng dữ liệu lớn là gì?
Như đúng tên gọi, cơ sở hạ tầng dữ liệu lớn (big data infrastructure) chính là cơ sở hạ tầng công nghệ thông tin giúp lưu trữ dữ liệu lớn. Đây là một phần quan trọng trong hệ sinh thái dữ liệu lớn, bao gồm nhiều công cụ và công nghệ hỗ trợ xuyên suốt vòng đời dữ liệu, từ thu thập đến lưu trữ, phân tích và sao lưu.
Từ nhiều năm nay, các doanh nghiệp hầu hết dựa vào cơ sở dữ liệu truyền thống để xử lý dữ liệu có cấu trúc. Tuy nhiên, các cơ sở dữ liệu này thường không đủ khả năng đáp ứng với những dữ liệu phức tạp, quy mô lớn. Sự phát triển của dữ liệu phi cấu trúc đòi hỏi những công nghệ hạ tầng mới, có thể xử lý đa dạng dữ liệu, giúp dễ dàng chạy các ứng dụng trên hệ thống thông tin khổng lồ. Những công nghệ này có độ trễ thấp, tiết kiệm chi phí, mở rộng linh hoạt và thường là nguồn mở.
Một số loại cơ sở hạ tầng dữ liệu lớn
Hầu hết các doanh nghiệp sử dụng kết hợp nhiều công nghệ hạ tầng cho môi trường dữ liệu lớn. Dưới đây là một số phương pháp cơ bản, cùng với cách thức hoạt động và trường hợp phù hợp nhất để ứng dụng những phương pháp này.
Hadoop
Tạo nên một cuộc cách mạng trong toàn bộ việc tính toán và lưu trữ dữ liệu, Hadoop là khung nguồn mở được thiết kế để trở thành một hệ sinh thái hoàn chỉnh hỗ trợ lưu trữ, phân tích và xử lý dữ liệu.
Nguyên tắc cơ bản đằng sau công nghệ này là chia dữ liệu thành các phần để tiến hành phân tích và xử lý đồng thời, thay vì làm việc với cả khối dữ liệu cùng lúc.
Hadoop cung cấp không gian lưu trữ một lượng lớn dữ liệu, cả cấu trúc và phi cấu trúc, cũng như sức mạnh xử lý và khả năng thực hiện cùng lúc đa tác vụ. Tận dụng được năng lực tính toán này sẽ giúp các doanh nghiệp phân tích thành công các bộ dữ liệu lớn, có thể mở rộng quy mô, với phần mềm nguồn mở và phần cứng có chi phí tối ưu.
Những lợi ích chính mà Hadoop đem lại:
- Tính linh hoạt: Không giống như các cơ sở dữ liệu quan hệ (relational databases), Hadoop không yêu cầu phân tích dữ liệu trước khi lưu trữ. Nó cho phép bạn lưu bất kể bao nhiêu dữ liệu và tùy chọn cách thức sử dụng chúng, với đa định dạng, cả phi cấu trúc như hình ảnh, video, văn bản.
- Tốc độ: Bởi xử lý đồng thời nhiều phần khác nhau của dữ liệu, đây là công cụ giúp phân tích sâu dữ liệu với tốc độ vượt trội.
- Khả năng mở rộng: Không giống như các hệ thống cũ thường giới hạn khả năng lưu trữ, Hadoop vận hành trong môi trường phân tán và hoàn toàn có thể mở rộng quy mô. Việc phát triển hệ thống để xử lý thêm dữ liệu dễ dàng được thực hiện chỉ với thao tác bổ sung nodes.
- Sức mạnh tính toán: Hadoop sử dụng mô hình tính toán phân tán, cho phép xử lý dữ liệu một cách nhanh chóng. Cũng có thể bổ sung nhiều máy tính hơn vào hệ thống nhằm làm tăng khả năng xử lý.
- Tiết kiệm chi phí: Đây là một khung nguồn mở, do đó hoàn toàn miễn phí sử dụng và lưu trữ dữ liệu.
- Khả năng khôi phục: Thiết kế của Hadoop là cho phép dữ liệu được sao lưu ở các node, phòng trường hợp xảy ra lỗi phần cứng hoặc phần mềm.
Một số thành phần cơ bản của hệ sinh thái Hadoop:
- HDFS (Hadoop Distributed File System): hệ thống hỗ trợ lưu trữ và cung cấp khả năng truy cập hiệu suất cao các bộ dữ liệu quy mô lớn trên các cụm của Hadoop.
- YARN: hỗ trợ lập lịch cho các ứng dụng người dùng và quản lý cụm
- MapReduce: đây là lõi công nghệ cũng như mô hình lập trình hỗ trợ xử lý đồng thời các bộ dữ liệu lớn.
- Hadoop Common: cung cấp tổng hợp các dịch vụ từ tiện ích đến thư viện để hỗ trợ các module khác.
NoSQL
NoSQL là viết tắt của Not only SQL, nhằm chỉ đa dạng các công nghệ về cơ sở dữ liệu. NoSQL hoạt động dựa trên cơ sở dữ liệu phân tán, khi dữ liệu phi cấu trúc có thể được lưu trữ trên nhiều nodes và thậm chí trên nhiều máy chủ.
Cơ sở dữ liệu này cho phép xử lý dữ liệu diễn ra nhanh chóng, với hiệu suất cao và quy mô lớn. Không giống như cơ sở dữ liệu quan hệ, nó có thể xử lý đa dạng dữ liệu phi cấu trúc, đảm bảo độ trễ thấp. Khi quy mô dữ liệu tăng lên, bạn có thể đơn giản bổ sung thêm phần cứng để tiếp tục xử lý.
NoSQL đã được ứng dụng trong nhiều giải pháp dành cho những kho lưu trữ dữ liệu lớn nhất, bao gồm cả Amazon và Google. Phần lớn các cơ sở dữ liệu NoSQL phổ biến nhất là nguồn mở.
Cơ sở dữ liệu NoSQL có 4 dạng chính:
- Key-value stores: đây là kiểu lưu trữ NoSQL đơn giản nhất, sử dụng mảng kết hợp, mỗi key tương ứng với duy nhất 1 value (có thể là số, chữ,…)
- Column family stores: Hệ thống này được thiết kế để lưu trữ và xử lý dữ liệu lớn, phân tán trên nhiều máy. Dữ liệu trên các cột sẽ được nhóm vào thành một họ (families). Cơ sở dữ liệu dựa vào cột thường được sử dụng cho hệ thống quản lý quan hệ khách hàng (CRM), kinh doanh thông minh (BI) và kho dữ liệu (Data warehouse).
- Document databases: Mô hình này chính là dạng tổng quan của nhiều cặp key-value. Nói cách khác Document databases là cấp bậc cao hơn của Key-value stores. Nó cho phép tồn tại nhiều value cho mỗi key và đạt hiệu suất truy vấn cao hơn.
- Graph databases: Cơ sở dữ liệu này sử dụng mô hình đồ thị có khả năng linh hoạt mở rộng trên nhiều máy khác nhau, thể hiện đa dạng các mối quan hệ. Cơ sở dữ liệu đồ thị thường được dùng trong logistics và mạng xã hội.
Ưu điểm nổi trội của cơ sở dữ liệu NoSQL:
- Xử lý dữ liệu: Với cơ sở dữ liệu NoSQL, việc mở rộng quy mô được thực hiện bằng cách lưu trữ dữ liệu phân tán và xử lý dữ liệu trên nhiều cụm máy tính khác nhau.
- Sự hỗ trợ: Cơ sở dữ liệu NoSQL cho phép bạn lưu trữ mọi loại dữ liệu, từ cấu trúc, bán cấu trúc đến phi cấu trúc.
- Dễ cập nhật: Cơ sở dữ liệu này cho phép các lập trình viên dễ dàng thay đổi cấu trúc dữ liệu mà không có bất cứ độ trễ nào. Việc thêm vào các giá trị và các cột không làm gián đoạn đến cấu trúc hiện có.
Massively Parallel Processing (MPP)
Massively Parallel Processing (MPP) là một nền tảng tính toán dữ liệu có khả năng xử lý dữ liệu với tốc độ vượt trội. Ở đó, hàng trăm hoặc hàng nghìn hệ thống xử lý cùng hoạt động trên các phần khác nhau của chương trình, mỗi hệ thống có bộ nhớ và vận hành riêng.
Về cơ bản, MPP sử dụng phân đoạn dữ liệu và việc tạo các khối dữ liệu qua các nút, từ đó xử lý chúng đồng thời cùng lúc. Ở điểm này, MPP khá tương đồng so với Hadoop. Tuy nhiên khác biệt là ở chỗ MPP không tiến hành trên các phần cứng thương mại. Thay vào đó, nó dùng các thiết bị đặc thù, có dung lượng bộ nhớ cao. Giao diện kiểu SQL hỗ trợ truy xuất dữ liệu và chúng xử lý dữ liệu nhanh hơn nhờ xử lý trong bộ nhớ.
Một số lợi ích chính khi triển khai kiến trúc MPP bao gồm:
- Sự linh hoạt: Có thể dễ dàng thêm vào các nodes
- Tối ưu chi phí: Với MPP, chi phí đầu tư vào phần cứng sẽ được tiết kiệm đáng kể. Chỉ cần thêm vào các nodes, khối lượng công việc được phân tán và có thể được xử lý bằng các phần cứng có giá thành vừa phải.
- Đáng tin cậy: Hệ thống cơ sở dữ liệu này giảm thiểu tỉ lệ xảy ra sai sót. Khi một node bị lỗi, các node khác vẫn hoạt động cho đến khi node lỗi được sửa lại.
- Khả năng mở rộng: Với MPP, có vô số cách để mở rộng quy mô. Những hệ thống này cho phép bổ sung node để lưu trữ và xử lý khối lượng lớn dữ liệu theo yêu cầu.
Điện toán đám mây (cloud computing)
Trong khi các hạ tầng dữ liệu lớn khác đòi hỏi phải đầu tư phần cứng và phần mềm cho mỗi bên tham gia vào quá trình phân tích và xử lý dữ liệu, thì điện toán đám mây tương tự như một dịch vụ dựa trên web (web-based service), cung cấp quyền truy cập cho tất cả các chương trình và các bên. Chi phí trả trước đối với điện toán đám mây là rất thấp, bởi bạn chỉ cần trả theo đúng nhu cầu sử dụng và khi mở rộng quy mô.
Tuy nhiên, việc lưu trữ dữ liệu ở bên thứ ba gây nên nhiều lo lắng về vấn đề bảo mật, do đó các doanh nghiệp thường lưu trữ dữ liệu quan trọng trên máy và dữ liệu ít quan trọng hơn trên nền tảng đám mây.
Một số lợi ích của điện toán đám mây đối với hạ tầng dữ liệu lớn bao gồm:
- Đơn giản: Triển khai dữ liệu lớn thường yêu cầu các tích hợp phức tạp. Đối với điện toán đám mây, phần lớn các tích hợp này được tiến hành tự động, giảm thiểu tối đa sự phức tạp và tăng cường hiệu quả công việc.
- Tiết kiệm chi phí: Triển khai điện toán đám mây đồng nghĩa với việc giảm được chi phí lắp đặt và duy trì phần cứng.
- Tốc độ: Với công nghệ này, hạ tầng được lắp đặt gần như ngay lập tức, trong khi các phương pháp khác khá tốn thời gian và tiền bạc. Các nền tảng dữ liệu lớn dựa trên đám mây giúp quy trình trở nên đơn giản, dễ tiếp cận, bất kể quy mô hay ngành nghề của doanh nghiệp.
(Nguồn tham khảo: Business Tech Weekly)
