Mã hóa các từ không được phép từ OCR bằng NLTK

Question

Tôi đang sử dụng NLTK để xử lý một số văn bản được trích xuất từ ​​các tệp PDF. Tôi có thể khôi phục văn bản hầu như nguyên vẹn, nhưng có rất nhiều trường hợp khoảng trống giữa các từ không bị bắt, vì vậy tôi nhận được các từ như ifI thay vì if I hoặc thatposition thay vì that position hoặc andhe's thay vì and he's.

Câu hỏi của tôi là: làm cách nào để sử dụng NLTK để tìm các từ mà nó không nhận ra/chưa học và xem liệu có các từ kết hợp "lân cận" có nhiều khả năng xảy ra hơn không? Có cách nào duyên dáng hơn để thực hiện loại kiểm tra này không chỉ đơn giản là diễu hành qua từ không được nhận ra, một ký tự tại một thời điểm, tách nó ra và xem liệu nó có tạo ra hai từ dễ nhận biết không?

Answer 1

Tôi khuyên bạn nên cân nhắc sử dụng pyenchant thay vì đó là giải pháp mạnh mẽ hơn cho loại sự cố này. Bạn có thể tải về pyenchant here. Dưới đây là ví dụ về cách bạn sẽ nhận được kết quả sau khi cài đặt kết quả:

>>> text = "IfI am inthat position, Idon't think I will." # note the lack of spaces 
>>> from enchant.checker import SpellChecker 
>>> checker = SpellChecker("en_US") 
>>> checker.set_text(text) 
>>> for error in checker: 
    for suggestion in error.suggest(): 
     if error.word.replace(' ', '') == suggestion.replace(' ', ''): # make sure the suggestion has exact same characters as error in the same order as error and without considering spaces 
      error.replace(suggestion) 
      break 
>>> checker.get_text() 
"If I am in that position, I don't think I will." # text is now fixed