VBD 
Từ ngày trí tuệ nhân tạo (AI) chưa đầy mười năm tuổi, các nhà khoa học máy tính đã nuôi khao khát xây dựng thành công các hệ thống và chương trình máy tính có khả năng giao tiếp với con người bằng ngôn ngữ tự nhiên, thay vì phải đối mặt với các ngôn ngữ lập trình phức tạp hay ngôn ngữ máy tính khó hiểu.
Nhưng tại sao họ lại có một sự quan tâm đặc biệt đến thế đối với xử lý ngôn ngữ tự nhiên? Đó là bởi vì ngôn ngữ tự nhiên, với sự đa dạng, phức tạp và phi logic, lại chính là trung tâm trong giao tiếp con người.
Trong bài viết này, hãy cùng chúng tôi khám phá những tính chất đặc biệt của ngôn ngữ tự nhiên, những thách thức trong quá trình xử lý, và cách công nghệ xử lý ngôn ngữ tự nhiên đã và đang thay đổi cách chúng ta tương tác với máy tính và thiết bị thông minh hàng ngày.
1. Xử lý ngôn ngữ tự nhiên là gì?
Xử lý ngôn ngữ tự nhiên (Natural Language Processing – NLP) là một lĩnh vực trong trí tuệ nhân tạo (AI) và khoa học máy tính liên quan đến việc sử dụng máy tính để diễn giải, tương tác và hiểu được ngôn ngữ của con người một cách tự nhiên.
Một ví dụ tiêu biểu về xử lý ngôn ngữ tự nhiên (NLP) là ứng dụng Google Search. Nếu bạn nhập “Thời tiết ngày mai ở Hà Nội,” Google sẽ sử dụng NLP để hiểu yêu cầu của bạn và cung cấp thông tin về thời tiết dự đoán cho Hà Nội vào ngày mai. Google cũng có khả năng phân tích cú pháp câu của bạn để xác định các yếu tố quan trọng như địa điểm (“Hà Nội”) và thời gian (“ngày mai”) để đưa ra kết quả chính xác.
2. Cơ chế hoạt động của xử lý ngôn ngữ tự nhiên
Bước 1: Phân tích hình vị
Phân tích hình vị (Phonetic Analysis) là quá trình xác định và nghiên cứu các âm thanh, ngữ điệu trong ngôn ngữ nói. Trong ngôn ngữ tự nhiên, có hàng ngàn loại âm thanh khác nhau được tạo ra từ miệng, họng, và mũi.
Phân tích hình vị nhằm nhận diện, phân tích và mô tả cấu trúc của âm thanh ngôn ngữ trong một ngôn ngữ cụ thể và các thành phần ngôn ngữ khác, cụ thể như:
- Nguyên âm và phụ âm
- Cấu trúc âm tiết trong từ, bao gồm các yếu tố như âm đầu (onset), nguyên âm (nucleus), và âm cuối (coda)
- Sự thay đổi trong giọng điệu, tốc độ, và nhịp điệu của giọng nói
- Sự khác biệt giữa các phương ngôn ngữ và giọng địa phương
Trong quá trình xử lý ngôn ngữ, hai nhiệm vụ chính liên quan đến phân tích hình vị là tách từ (word segmentation) và gán nhãn từ loại (part-of-speech tagging).
Bước 2: Phân tích cú pháp
Phân tích cú pháp (Syntactic Analysis), còn được gọi là phân tích cấu trúc ngữ pháp, là quá trình xem xét một chuỗi các biểu tượng, có thể ở dạng ngôn ngữ tự nhiên hoặc ngôn ngữ máy tính, và phân tích chúng dựa trên cấu trúc ngữ pháp. Các nhiệm vụ chính trong phân tích cú pháp bao gồm:
- Phân loại từ loại: Xác định loại của từng từ trong câu, chẳng hạn như danh từ, động từ, tính từ, trạng từ.
- Xác định mệnh đề và cụm từ: Phân tích câu để xác định các mệnh đề (clauses) và cụm từ (phrases) bên trong câu. Mệnh đề là các đơn vị ngữ pháp có thể tồn tại độc lập và có ý nghĩa hoàn chỉnh, trong khi cụm từ là các đơn vị ngữ pháp lớn hơn từ và có thể bao gồm nhiều từ.
- Xác định mối quan hệ giữa các thành phần: Phân tích cú pháp giúp xác định cấu trúc câu (ví dụ: nguyên tắc SVO – Chủ-Động-Vi) và mối quan hệ phụ thuộc giữa các thành phần.
Để thực hiện phân tích cú pháp, người ta thường sử dụng các quy tắc và văn phạm hình thức, trong đó bao gồm Văn phạm phi ngữ cảnh (Context-free grammar – CFG), Văn phạm danh mục kết nối (Combinatory categorial grammar – CCG), và Văn phạm phụ thuộc (Dependency grammar – DG).
Bước 3: Phân tích ngữ nghĩa
Phân tích ngữ nghĩa (Semantic Analysis) là quá trình tìm hiểu cấu trúc ý nghĩa, bắt đầu từ cấp độ cụm từ, mệnh đề, câu, và đoạn, cho đến cấp độ toàn bài viết, trong đó mỗi cấp độ có ý nghĩa độc lập của riêng chúng. Nói một cách khác, phân tích ngữ nghĩa nhằm xác định ý nghĩa của đầu vào ngôn từ. Quá trình này gồm hai khía cạnh chính:
- Ngữ nghĩa từ vựng: Khía cạnh này liên quan đến việc hiểu ý nghĩa của từng từ và phân biệt các nghĩa khác nhau của một từ. Điều này có thể bao gồm việc xác định các nghĩa từ điển của các từ thành phần và sự phân biệt giữa các nghĩa của từ trong ngữ cảnh cụ thể.
- Ngữ nghĩa thành phần: Khía cạnh này liên quan đến cách mà các từ kết hợp với nhau để tạo ra từ có ý nghĩa rộng hơn, tổng thể và phức tạp hơn.
Bước 4: Phân tích diễn ngôn
Phân tích diễn ngôn (Discourse Analysis) là một lĩnh vực trong xử lý ngôn ngữ tự nhiên (NLP) nhằm nghiên cứu cách ngôn ngữ được sử dụng trong các ngữ cảnh sử dụng (context-of-use). Điều này đồng nghĩa với việc phân tích diễn ngôn thường được thực hiện trên phương diện lớn hơn như đoạn văn hoặc toàn bộ văn bản thay vì chỉ tập trung vào phân tích từng câu riêng lẻ.
Chẳng hạn, khi nghiên cứu cách xây dựng và thể hiện mô hình lời nói trong đoạn văn bản hoặc đối thoại, chúng ta cần phải xác định cả người nói, đối tượng được nói đến và mối quan hệ giữa họ.
Đồng thời, phân tích diễn ngôn cũng đòi hỏi phải xác định khả năng lập luận logic, cách sử dụng dẫn chứng, và các yếu tố khác để thuyết phục người đọc, người nghe.
3. Ngôn ngữ tự nhiên có các tính chất nào là thách thức với quá trình xử lý
3.1. Đa nghĩa
Tính đa nghĩa của ngôn ngữ tự nhiên là một thách thức lớn trong quá trình xử lý ngôn ngữ tự nhiên (NLP). Hiện tượng đa nghĩa xảy ra khi một từ hoặc cụm từ có nhiều ý nghĩa trong nhiều ngữ cảnh sử dụng, khiến cho việc hiểu và xử lý ngôn ngữ tự nhiên trở nên phức tạp hơn, vì máy tính cần phải xác định ý nghĩa chính xác của từ hoặc cụm từ trong một ngữ cảnh cụ thể.
Ví dụ, trong Tiếng Việt, từ “ngày mai” có thể được hiểu là tương lai, mà cũng có thể được hiểu là ngày hôm sau. Hoặc trong tiếng Anh, “Bat” có thể là một con dơi, nhưng cũng có thể đề cập đến việc xử lý tình huống một cách linh hoạt và thông minh, như trong câu “She can really bat her way out of any situation,” nghĩa là cô ấy có thể giải quyết bất kỳ tình huống nào một cách thông minh.
3.2. Giàu khả năng biểu đạt
Tính giàu khả năng biểu đạt của ngôn ngữ tự nhiên đề cập đến sự phong phú và đa dạng trong cách con người sử dụng ngôn ngữ để diễn đạt ý nghĩa. Chẳng hạn:
- Từ vựng đa dạng: Ngôn ngữ tự nhiên chứa một lượng lớn từ vựng, bao gồm các từ vựng hiện đại, thuật ngữ chuyên ngành và ngôn ngữ địa phương. Điều này làm cho việc hiểu và xử lý các từ và ngữ cảnh của chúng trở nên phức tạp.
- Ngữ pháp đa dạng: Các ngôn ngữ có ngữ pháp đa dạng, với nhiều cấu trúc câu, thời gian, chế độ, và trạng từ. Điều này đòi hỏi các hệ thống NLP phải hiểu và phân tích cú pháp một cách chính xác.
- Nghĩa bóng và ẩn dụ: Ngôn ngữ tự nhiên thường sử dụng nghĩa bóng và ẩn dụ để diễn đạt các ý nghĩa phức tạp, đặc biệt là trong văn thơ. Điều này đòi hỏi khả năng hiểu và giải mã những diễn đạt phi đối tiếp và thường là ngôn ngữ tượng trưng. (VD: “Anh ta đã đặt toàn bộ trái tim của mình vào công việc.” Trong trường hợp này, “trái tim” không phải là cơ quan thật sự mà đại diện cho cảm xúc và đam mê.)
3.3. Có nhiều cấp độ ngôn ngữ
Tính nhiều cấp độ ngôn ngữ (Multilevel Linguistic Hierarchy) của ngôn ngữ tự nhiên là một thách thức đối với quá trình xử lý ngôn ngữ tự nhiên (NLP). Ngôn ngữ tự nhiên không chỉ bao gồm các mức cơ bản như từ vựng và ngữ pháp mà còn có nhiều cấp độ phức tạp khác nhau, từ ngữ nghĩa ngữ cảnh, đến ngữ nghĩa tình cảm và ngữ nghĩa xã hội.
Ví dụ, trong câu của Socrate: “Tôi chỉ biết rằng mình không biết gì,” từ “biết” xuất hiện hai lần, nhưng chúng thuộc về hai cấp độ ngôn ngữ khác nhau. Từ “biết” thứ hai ám chỉ kiến thức về toàn bộ thế giới bên ngoài, trong khi đó, từ “biết” thứ nhất lại ám chỉ kiến thức về khả năng hiểu biết của chính mình.
3.4. Một phần thông tin không được biểu đạt tường minh
Thông tin tường minh thường bao gồm từ vựng, ngữ pháp, và cú pháp có thể hiểu được một cách dễ dàng. Cho nên việc người dùng cố tình thiếu thông tin biểu đạt để rút gọn hoặc tránh lặp đi lặp lại đòi hỏi máy tính cần phải học cách điền vào những khoảng trống thông tin này để ngầm hiểu.
Ví dụ, trong câu “Tôi sẽ đến sau,” không có thông tin cụ thể về thời gian “sau” là bao lâu. Máy tính cần phải hiểu rằng điều này có thể có nhiều ý nghĩa khác nhau dựa trên ngữ cảnh.
4. Ứng dụng trong đời sống của công nghệ xử lý ngôn ngữ tự nhiên
4.1. Tìm kiếm thông tin
Công nghệ NLP được sử dụng để cải thiện hiệu suất của các công cụ tìm kiếm web như Google, Bing và Yahoo. NLP giúp cải thiện độ chính xác của kết quả tìm kiếm và hiểu được ý nghĩa của các truy vấn tìm kiếm phức tạp.
Tại Việt Nam, ViVi của VinBigdata với khả năng ứng dụng công nghệ Trí tuệ nhân tạo (AI), phân tích dữ liệu lớn và xử lý ngôn ngữ tự nhiên để hiểu và phản hồi cho các câu hỏi và yêu cầu từ người dùng, đồng thời giúp người dùng thực hiện nhiều tác vụ rảnh tay thông qua giọng nói.
ViVi có đến 4 giọng đàm thoại tự nhiên (Nam – Nữ miền Bắc và Nam), khả năng nhận diện chính xác tiếng Việt với nhóm từ phổ thông và hơn 30,000 giờ dữ liệu giọng nói chất lượng cao.
4.2. Công nghệ dịch tự động:
Dịch tự động là một trong những ứng dụng quan trọng nhất của công nghệ xử lý ngôn ngữ tự nhiên (NLP). Dưới đây là một số cách NLP được sử dụng để dịch tự động và ứng dụng của nó trong đời sống:
- Dịch văn bản trực tiếp từ hình ảnh chụp hoặc văn bản viết tay
- Phát triển công cụ dịch trực tuyến như Google Translate, DeepL và Microsoft Translator
- Dịch cuộc gọi video hoặc hội thoại trực tiếp
- Dịch trang web tự động
- Dịch email tự động
4.3. Công nghệ nhận dạng giọng nói:
Natural Language Processing (NLP) được sử dụng trong các hệ thống bảo mật để nhận dạng giọng nói của người dùng. Các ứng dụng và thiết bị như trợ lý ảo (ví dụ: Siri của Apple, Google Assistant), hệ thống thông minh trong ô tô, và các thiết bị gia đình thông minh cũng sử dụng NLP để nhận dạng và hiểu lệnh từ giọng nói của người dùng.
Trong lĩnh vực dịch vụ dịch vụ, NLP còn được sử dụng để phân tích và hiểu giọng nói của khách hàng trong các cuộc gọi điện thoại hoặc trò chuyện trực tuyến. Điều này giúp cải thiện trải nghiệm khách hàng và tăng khả năng xử lý các yêu cầu khách hàng.
Ví dụ, VinBase Callbot có thể sử dụng NLP để để tự động hóa các hoạt động tại Tổng đài trung tâm và tăng cường chất lượng dịch vụ chăm sóc khách hàng. Khách hàng chỉ cần diễn đạt vấn đề hoặc câu hỏi mình đang gặp phải, và Callbot có thể thực hiện các hành động sau:
- Nhận diện nội dung: Callbot sử dụng NLP để hiểu và phân tích nội dung của cuộc gọi. Điều này giúp xác định mục tiêu hoặc vấn đề mà khách hàng muốn thảo luận.
- Chuyển cuộc gọi: Callbot có thể tự động chuyển cuộc gọi đến các tổng đài viên (agent) nếu cần sự can thiệp của con người.
- Trả lời trực tiếp: Đối với các câu hỏi đơn giản hoặc yêu cầu thông tin cơ bản, Callbot có thể trả lời trực tiếp mà không cần tổng đài viên.
4.4. Công nghệ trả lời câu hỏi tự động
NLP được sử dụng trong chatbot của các trang web, ứng dụng di động hoặc hệ thống tổng đài để trả lời câu hỏi của khách hàng. Chatbot có khả năng hiểu và phân tích nội dung của câu hỏi khách hàng, sau đó cung cấp câu trả lời thích hợp, từ đó tăng cường khả năng hỗ trợ khách hàng.
Tại Việt Nam, VinBase Chatbot là một ví dụ tiêu biểu về ứng dụng công nghệ xử lý ngôn ngữ tự nhiên (NLP) trong doanh nghiệp để trả lời câu hỏi của người dùng. VinBase Chatbot nhận biết các ý định từ câu nói của người dùng (hỗ trợ có dấu/không dấu và sai chính tả) cùng các thực thể được nhắc tới trong đoạn chat của người dùng.
Bên cạnh đó, công nghệ phân tích cảm xúc (sentiment analysis) của VinBase Chatbot còn đưa ra các nghiệp vụ hỗ trợ theo cảm xúc khách hàng (tích cực / tiêu cực / trung tính) để từ đó tổng hợp và đánh giá chất lượng đoạn hội thoại.
Kết luận
Như vậy trong bài viết này, chúng ta đã cùng nhau thảo luận về các tính chất quan trọng cần lưu ý để tối ưu quá trình xử lý ngôn ngữ tự nhiên. Nhận thức về những tính chất này là quan trọng để tối ưu hóa quá trình xử lý ngôn ngữ tự nhiên và phát triển các ứng dụng AI, chatbot, dịch thuật tự động và nhiều ứng dụng khác dựa trên ngôn ngữ tự nhiên để phục vụ con người một cách hiệu quả.
Liên hệ với VinBigdata để nhận tư vấn:
- Fanpage: VinBigdata
- LinkedIn: VinBigData
- Email: info@vinbigdata.com
- Hotline: (024) 3 208 8208
