Xử lý ngôn ngữ tự nhiên – Wikipedia tiếng Việt

Xử lý ngôn ngữ tự nhiên (natural language processing – NLP) là một nhánh của trí tuệ nhân tạo tập trung vào các ứng dụng trên ngôn ngữ của con người. Trong trí tuệ nhân tạo thì xử lý ngôn ngữ tự nhiên là một trong những phần khó nhất vì nó liên quan đến việc phải hiểu ý nghĩa ngôn ngữ-công cụ hoàn hảo nhất của tư duy và giao tiếp.

Các bước giải quyết và xử lý[sửa|sửa mã nguồn]

  • Phân tích hình thái – Trong bước này từng từ sẽ được phân tích và các ký tự không phải chữ (như các dấu câu) sẽ được tách ra khỏi các từ. Trong tiếng Anh và nhiều ngôn ngữ khác, các từ được phân tách với nhau bằng dấu cách. Tuy nhiên trong tiếng Việt, dấu cách được dùng để phân tách các tiếng (âm tiết) chứ không phải từ. Cùng với các ngôn ngữ như tiếng Trung, tiếng Hàn,tiếng Nhật, phân tách từ trong tiếng Việt là một công việc không hề đơn giản.
  • Phân tích cú pháp – Dãy các từ sẽ được biến đổi thành các cấu trúc thể hiện sự liên kết giữa các từ này. Sẽ có những dãy từ bị loại do vi phạm các luật văn phạm.
  • Phân tích ngữ nghĩa – Thêm ngữ nghĩa vào các cấu trúc được tạo ra bởi bộ phân tích cú pháp.
  • Tích hợp văn bản – Ngữ nghĩa của một câu riêng biệt có thể phụ thuộc vào những câu đứng trước, đồng thời nó cũng có thể ảnh hưởng đến các câu phía sau.
  • Phân tích thực nghĩa – Cấu trúc thể hiện điều được phát ngôn sẽ được thông dịch lại để xác định nó thật sự có nghĩa là gì.

Tuy nhiên, ranh giới giữa 5 bước xử lý này cũng rất mong manh. Chúng có thể được tiến hành từng bước một, hoặc tiến hành cùng lúc – tùy thuộc vào giải thuật và ngữ cảnh cụ thể.

Các bài toán và ứng dụng[sửa|sửa mã nguồn]

Các bài toán trong giải quyết và xử lý tiếng Việt[sửa|sửa mã nguồn]

  • Phân tách câu
  • Phân tách từ
  • Tự động thêm dấu: Chữ viết tiếng Việt là chữ viết có dấu thanh. Trong các văn bản chính thống như sách, báo chí, văn bản hành chính, các dấu thanh được viết chính xác. Tuy nhiên trong cách tình huống không chính thống như chat, gõ tìm kiếm, người dùng thông thường không gõ các dấu thanh, dẫn tới khó khăn nhất định cho máy tính trong việc hiểu ý nghĩa của văn bản.

Các bộ dữ liệu trong xử lý tiếng Việt

  • Treebank tiếng Việt: VietTreebank và NIIVTB.
  • Hỏi đáp – đọc hiểu tự động: UIT-ViQuAD và UIT-ViNewsQA.
  • Phân tích cảm xúc: updating …

Liên kết ngoài[sửa|sửa mã nguồn]

Rate this post