GridSearchCV có sử dụng dự đoán hay guess_proba, khi sử dụng auc_score làm hàm điểm?

Question

GridSearchCV có sử dụng dự đoán hay guess_proba, khi sử dụng auc_score làm hàm điểm?

Hàm dự đoán tạo nhãn lớp được dự đoán, sẽ luôn dẫn đến đường cong hình tam giác ROC. Đường cong ROC cong hơn thu được bằng cách sử dụng xác suất lớp được dự đoán. Cái thứ hai, theo như tôi biết, chính xác hơn. Nếu vậy, khu vực dưới đường cong ROC 'cong' có lẽ là tốt nhất để đo lường hiệu suất phân loại trong tìm kiếm lưới.

Vì vậy, tôi tò mò nếu nhãn lớp hoặc xác suất lớp được sử dụng cho tìm kiếm lưới, khi sử dụng khu vực dưới đường cong ROC làm thước đo hiệu suất. Tôi đã cố gắng tìm câu trả lời trong mã, nhưng không thể tìm ra câu trả lời. Có ai ở đây biết câu trả lời không?

Cảm ơn

Answer 1

Để sử dụng auc_score cho lưới tìm kiếm bạn thực sự cần phải sử dụng predict_proba hoặc decision_function như bạn chỉ ra. Điều này là không thể trong bản phát hành 0.13. Nếu bạn làm score_func=auc_score, nó sẽ sử dụng predict không có ý nghĩa gì.

[sửa] Từ 0.14 [/ sửa] nó có thể làm lưới tìm kiếm sử dụng auc_score, bằng cách thiết lập các tham số mới scoring để roc_auc: GridSearch(est, param_grid, scoring='roc_auc'). Nó sẽ làm điều đúng và sử dụng predict_proba (hoặc decision_function nếu không có predict_proba). Xem whats new page of the current dev version.

Bạn cần cài đặt chương trình chính hiện tại từ github để nhận chức năng này hoặc đợi đến tháng 4 (?) Cho 0,14.