Bộ công cụ Stanford NER - nhận dạng đối tượng chữ thường

Question

Tôi là người mới dùng NLP và cố gắng tìm ra cách Trình nhận dạng đối tượng được đặt tên chú thích các thực thể được đặt tên. Tôi đang thử nghiệm với bộ công cụ Stanford NER. Khi tôi sử dụng NER trên các tập dữ liệu chính thức hơn, nơi tất cả các quy ước đặt tên được theo sau để đại diện cho các thực thể được đặt tên như trong các tin tức mới hoặc các blog tin tức, NER chú thích các thực thể một cách chính xác. Tuy nhiên khi tôi chạy NER với các tập dữ liệu không chính thức như twitter, nơi các thực thể được đặt tên có thể không được viết hoa như lẽ ra phải là, NER không chú thích các thực thể. Trình phân loại mà tôi đang sử dụng là một phân lớp tuần tự 3-CRF. Ai có thể cho tôi biết làm thế nào tôi có thể làm cho NER nhận ra các thực thể trường hợp thấp hơn? Bất kỳ đề xuất hữu ích về cách hack NER và nơi cải tiến này sẽ được thực hiện được đánh giá cao. Cảm ơn trước cho tất cả sự giúp đỡ của bạn.

Answer 1

Tôi nghĩ rằng Twitter sẽ rất khó khăn cho ứng dụng này. Chữ hoa là một đầu mối lớn, như bạn nói, thường bị thiếu trên Twitter. Một kiểm tra từ điển để loại bỏ các từ tiếng Anh hợp lệ là hạn chế sử dụng bởi vì các văn bản Twitter bao gồm một số lượng lớn các chữ viết tắt và chúng thường là duy nhất.

Có lẽ PArt của gắn thẻ thoại và phân tích tần suất có thể được sử dụng để giúp cải thiện việc phát hiện danh từ thích hợp?

Answer 2

Tôi e rằng không có cách nào dễ dàng để có được các mô hình được đào tạo mà chúng tôi phân phối để bỏ qua thông tin về tình huống khi chạy. Vì vậy, có, họ thường sẽ chỉ ghi nhãn tên viết hoa. Nó sẽ có thể đào tạo một mô hình không vỏ, mà sẽ làm việc hợp lý (nhưng không phải là tốt trên văn bản cased, vì trường hợp là một đầu mối lớn bằng tiếng Anh (nhưng không phải bằng tiếng Đức, Trung Quốc, Ả Rập, vv.)

Answer 3

Cùng Nếu bạn đang sử dụng một trình phân loại dựa trên tính năng, tôi chắc chắn sẽ thêm vào 100-200 bản phổ biến nhất 3-4 chữ cái trong tên của mọi người hoặc tạo một gazzeteer theo một tính năng được công nhận. bị ràng buộc để hiển thị khá nhiều trong tên cá nhân không hiển thị thường xuyên trong các loại từ khác, như "eli".

Answer 4

Câu hỏi này hơi cũ, nhưng ai đó có thể hưởng lợi từ điều này ý tưởng.

Một cách để đào tạo một trình phân loại cho trường hợp thấp hơn là chạy trình phân loại chữ hoa bạn đã có đối với một bộ dữ liệu lớn tiếng Anh thích hợp, sau đó xử lý văn bản được gắn thẻ đó để loại bỏ trường hợp. Sau đó, bạn có một kho dữ liệu được gắn thẻ mà bạn có thể sử dụng để đào tạo một trình phân loại mới. Trình phân loại mới này sẽ không hoàn hảo đối với Twitter vì tính đặc thù của các tweet, nhưng đó là một cách nhanh chóng để khởi động nó.

Answer 5

Tôi biết đó là một chủ đề cũ nhưng hy vọng nó sẽ giúp ai đó. Như manning christopher đã trả lời, cách để có được chữ thường được phát hiện là thay thế english.muc.7class.distsim.crf.ser.gz bằng english.muc.7class.caseless.distsim.crf.ser.gz mà bạn có thể nhận được khi bạn giải nén tập tin nlp caseless jar cốt lõi.

Ví dụ, trong file python của tôi, tôi đã giữ tất cả mọi thứ như nhau ngoại trừ chuyển sang các tập tin mới và nó hoạt động hoàn hảo (tốt, phần lớn thời gian)

st = NERTagger('/Users/username/stanford-corenlp-python/stanford-ner-2014-10-26/classifiers/english.muc.7class.caseless.distsim.crf.ser.gz', '/Users/username/stanford-corenlp-python/stanford-ner-2014-10-26/stanford-ner.jar')