Mất cân bằng trong việc tìm hiểu

Question

Tôi đang sử dụng tính năng tìm hiểu scikit trong chương trình Python của mình để thực hiện một số thao tác học máy. Vấn đề là bộ dữ liệu của tôi có vấn đề mất cân đối nghiêm trọng.

Có ai quen thuộc với một giải pháp cho sự mất cân bằng trong scikit-tìm hiểu hoặc trong python nói chung? Trong Java có cơ chế SMOTE. Có điều gì đó song song trong python?

Answer 1

SMOTE không phải là một công cụ tìm kiếm tích hợp, nhưng vẫn có những triển khai trực tuyến. Ví dụ:
Here.

Answer 2

Trong Scikit tìm hiểu có một số kỹ thuật điều chỉnh cân bằng, thay đổi tùy theo thuật toán học mà bạn đang sử dụng.

Một số trong số đó, như Svm hoặc logistic regression, có tham số class_weight. Nếu bạn khởi tạo một SVC với tham số này được đặt trên 'tự động', nó sẽ cân trọng lượng từng ví dụ lớp tương ứng với nghịch đảo của tần số của nó.

Thật không may, không có công cụ tiền xử lý nào có mục đích này.

Answer 3

Tôi tìm thấy một thư viện khác ở đây mà thực hiện undersampling và cũng nhiều kỹ thuật oversampling bao gồm triển khai nhiều đập và một trong đó sử dụng SVM:

https://github.com/fmfn/UnbalancedDataset

Answer 4

Có một cái mới ở đây

https://github.com/scikit-learn-contrib/imbalanced-learn

Nó chứa nhiều thuật toán trong các danh mục sau, bao gồm SMOTE

• Đang lấy mẫu các nhóm đa số.
• Lấy mẫu quá mức lớp dân tộc thiểu số.
• Kết hợp quá mức và không lấy mẫu.
• Tạo bộ cân bằng tập hợp.