Xây dựng một mô hình ngôn ngữ tự nhiên, có thể chữa lỗi chính tả

Question

sách về làm thế nào để xây dựng một chương trình phân tích cú pháp ngôn ngữ tự nhiên như thế này là gì:

 
input: I got to TALL you 
output: I got to TELL you 

input: Big RAT box 
output: Big RED box 

in: hoo un thum zend three 
out: one thousand three 

Nó phải có mô hình ngôn ngữ cho phép để dự đoán những gì từ được sai chính tả!

Sách hay nhất về cách tạo công cụ như thế nào ??

p.s. Có các dịch vụ web miễn phí để kiểm tra chính tả không? Từ Google có thể? ..

Answer 1

Peter Norvig đã viết một tuyệt vời spell checker. Có lẽ điều đó có thể giúp bạn.

Answer 2

soundex (wiki) là một lựa chọn

Answer 3

Trong Dev Days London, Michael Sparks đã trình bày một kịch bản Python được mã hóa chính xác cho điều đó. Thật ngạc nhiên rất đơn giản! Xem bạn có thể tìm thấy trong Google hay không. Có lẽ ai đó ở đây sẽ có liên kết.

Answer 4

Bạn có ít nhất ba lựa chọn

1. Bạn có thể viết một chương trình mà hiểu được ngôn ngữ (tức là một từ có nghĩa). Đây là một chủ đề cho nghiên cứu ngày nay. Mong đợi kết quả đầu tiên khi bạn có thể mua một máy tính đủ nhanh để chạy một chương trình như vậy (có lẽ là trong 10 năm khi máy tính đã nhanh hơn 1000 lần so với ngày hôm nay).

2. Sử dụng kho văn bản lớn (tài liệu văn bản) để đào tạo Hidden Marcov Model.

3. Sử dụng một kho dữ liệu khổng lồ và tạo thống kê về tứ phân n-gram, nghĩa là tần suất một từ N xuất hiện. Tôi không có một liên kết thuận tiện cho điều này nhưng ý tưởng là một số từ luôn xuất hiện trong bối cảnh của các từ khác. Vì vậy, khi bạn phân tích cú pháp văn bản thành 4-gram và tìm kiếm chúng trong cơ sở dữ liệu của bạn và bạn không thể tìm thấy văn bản, rất có thể là có điều gì đó sai với bộ dữ liệu hiện tại. Bước tiếp theo là tìm tất cả các kết quả phù hợp (các loại 4-gram khác có âm thanh nhỏ hoặc khoảng cách tương tự với âm thanh hiện tại) và thử với tần số cao nhất.

   Google có dữ liệu này cho một số ngôn ngữ và bạn có thể tìm thấy nhiều hơn trong các phòng thí nghiệm của Google về điều này.

[EDIT] Sau khi một số googling, tôi cuối cùng đã tìm thấy liên kết: Trên this page, bạn có thể mua bằng tiếng Anh 1- đến 5 gram mà Google thu thập trên toàn bộ Internet trên 6 DVD.

Googling cho "thống kê chính tả google n-gram" cũng sẽ bật lên một số liên kết thú vị.

Answer 5

Có khá nhiều thư viện Java để xử lý ngôn ngữ tự nhiên sẽ giúp bạn triển khai trình sửa lỗi chính tả. Nhưng bạn đã hỏi về một cuốn sách. Foundations of Statistical Natural Language Processing bởi Christopher D. Manning và Hinrich Schütze trông giống như một lựa chọn tốt. Tác giả đầu tiên là một giáo sư Stanford dẫn đầu một nhóm làm việc xử lý ngôn ngữ tự nhiên và phát triển các thư viện Java và các tài nguyên NLP mà nhiều người sử dụng.