Tensorflow: Thực hiện Softmax theo thứ bậc

Question

Tôi hiện đang có các đầu vào văn bản được biểu diễn bằng vectơ và tôi muốn phân loại các danh mục của chúng. Vì chúng là các danh mục đa cấp, tôi muốn sử dụng Hierarchical Softmax.

Example: 

- Computer Science 
    - Machine Learning 
    - NLP 
- Economics 
- Maths 
    - Algebra 
    - Geometry 

Tôi không biết cách triển khai trong Tensorflow. Tất cả các ví dụ tôi đã gặp là sử dụng các khung công tác khác.

Cảm ơn

Answer 1

Cuối cùng, tôi đã thay đổi để sử dụng Pytorch. Nó dễ dàng hơn và thẳng tiến hơn Tensorflow.

• Đối với bất cứ ai tiếp tục quan tâm đến việc thực hiện HS, bạn có thể có một cái nhìn tại hướng dẫn mẫu của tôi: https://gist.github.com/paduvi/588bc95c13e73c1e5110d4308e6291ab

• Đối với bất cứ ai vẫn muốn có một thực hiện Tensorflow, chương trình này là dành cho bạn: https://github.com/tansey/sdp/blob/87e701c9b0ff3eacab29713cb2c9e7181d5c26aa/tfsdp/models.py#L205. Nhưng đó là một chút lộn xộn, và tác giả đề nghị sử dụng Pytorch hoặc khung đồ thị động khác

Answer 2

Thực tế nếu tổng số điện thoại các loại nằm trong phạm vi của hàng trăm đến hàng ngàn (dưới 50K), bạn không cần phải xem xét sử dụng softmax phân cấp, được thiết kế để chạy nhanh hơn đào tạo để phân loại thành hàng triệu danh mục (ví dụ: số từ trong từ vựng).

Theo kinh nghiệm của tôi (với mạng lưới Naive Bayesian và thần kinh), việc sử dụng cấu trúc phân cấp trong thời gian đào tạo không nhất thiết phải cải thiện chất lượng phân loại của bạn.

Tuy nhiên, nếu bạn quan tâm đến việc triển khai Softmax phân cấp, đó là một câu chuyện khác.