Thông tin tương tự theo chiều dọc trên văn bản

Question

Tôi đã tự hỏi làm thế nào người ta sẽ tính toán thông tin tương tự theo chiều kim đồng hồ để phân loại văn bản. Để chính xác hơn, tôi muốn phân loại các tweet trong các danh mục. Tôi có một tập dữ liệu của tweets (được chú thích), và tôi có một từ điển cho mỗi loại từ thuộc về thể loại đó. Với thông tin này, làm cách nào để tính toán PMI cho mỗi danh mục trên mỗi tweet, để phân loại một tweet ở một trong các danh mục này.

Answer 1

PMI là thước đo liên kết giữa một đối tượng địa lý (trong trường hợp của bạn là một từ) và một lớp (danh mục), không nằm giữa tài liệu (tweet) và danh mục. Công thức có sẵn trên Wikipedia:

    P(x, y) 
pmi(x ,y) = log ------------ 
        P(x)P(y) 

Trong công thức đó, X là biến ngẫu nhiên mà mô hình sự xuất hiện của một từ, và Y mô hình sự xuất hiện của một lớp. Đối với một từ nhất định x và một lớp nhất định y, bạn có thể sử dụng PMI để quyết định xem tính năng có mang tính thông tin hay không và bạn có thể thực hiện lựa chọn tính năng trên cơ sở đó. Việc có ít tính năng hơn thường cải thiện hiệu suất của thuật toán phân loại và tăng tốc độ đáng kể. Tuy nhiên, bước phân loại là riêng biệt - PMI chỉ giúp bạn chọn các tính năng tốt hơn để nạp vào thuật toán học tập của bạn.

---

Chỉnh sửa: Một điều tôi không đề cập trong bài gốc là PMI nhạy cảm với tần số từ. Hãy viết lại công thức như

    P(x, y)    P(x|y) 
pmi(x ,y) = log ------------ = log ------------ 
        P(x)P(y)    P(x) 

Khi x và y có tương quan hoàn hảo, P(x|y) = P(y|x) = 1, vì vậy pmi(x,y) = 1/P(x). Ít thường xuyên hơn x -es (từ) sẽ có điểm số PMI cao hơn thường lệ x -es, ngay cả khi cả hai đều tương quan hoàn toàn với y.