Tính năng feature_importances trong RandomForestClassifier được xác định như thế nào?

Question

Tôi có nhiệm vụ phân loại với chuỗi thời gian làm đầu vào dữ liệu, trong đó mỗi thuộc tính (n = 23) đại diện cho một thời điểm cụ thể. Bên cạnh kết quả phân loại tuyệt đối tôi muốn tìm hiểu, các thuộc tính/ngày nào đóng góp vào kết quả ở mức độ nào. Do đó tôi chỉ sử dụng feature_importances_, hoạt động tốt cho tôi.

Tuy nhiên, tôi muốn biết cách tính toán và đo lường/sử dụng thuật toán nào. Rất tiếc, tôi không thể tìm thấy bất kỳ tài liệu nào về chủ đề này.

Answer 1

Đó là tỷ số giữa số lượng mẫu được chuyển đến nút quyết định liên quan đến đối tượng địa lý đó trong bất kỳ cây nào của quần thể trên tổng số mẫu trong tập huấn luyện.

Các tính năng liên quan đến các nút cấp cao nhất của cây quyết định có xu hướng thấy nhiều mẫu hơn do đó có khả năng quan trọng hơn.

Chỉnh sửa: mô tả này chỉ đúng một phần: Câu trả lời của Gilles và Peter là câu trả lời đúng.

Answer 2

Cách thông thường để tính toán các giá trị đặc trưng quan trọng của một cây duy nhất là như sau:

1. bạn khởi tạo một mảng feature_importances của tất cả các số không với kích thước n_features.

2. bạn đi ngang qua cây: cho mỗi nút bên trong chia tách đối tượng địa lý i bạn tính toán giảm lỗi của nút đó nhân với số mẫu được định tuyến đến nút và thêm số này vào feature_importances[i].

Giảm lỗi phụ thuộc vào tiêu chí tạp chất mà bạn sử dụng (ví dụ: Gini, Entropy, MSE, ...). Nó là tạp chất của tập hợp các ví dụ được định tuyến đến nút bên trong trừ đi tổng của các tạp chất của hai phân vùng được tạo ra bởi sự phân chia.

Điều quan trọng là các giá trị này liên quan đến tập dữ liệu cụ thể (cả giảm lỗi và số lượng mẫu là số liệu cụ thể), do đó không thể so sánh các giá trị này giữa các tập dữ liệu khác nhau.

Theo như tôi biết, có nhiều cách khác nhau để tính giá trị tầm quan trọng của đối tượng địa lý trong cây quyết định. Một mô tả ngắn gọn về phương pháp trên có thể được tìm thấy trong "Yếu tố học thống kê" của Trevor Hastie, Robert Tibshirani và Jerome Friedman.

Answer 3

Thực sự có một số cách để có được tính năng "nhập khẩu". Như thường lệ, không có sự nhất trí chặt chẽ về ý nghĩa của từ này.

Trong tìm hiểu, chúng tôi thực hiện tầm quan trọng như được mô tả trong [1] (thường được trích dẫn, nhưng rất tiếc hiếm khi đọc ...). Nó đôi khi được gọi là "tầm quan trọng gini" hoặc "tạp chất giảm trung bình" và được xác định là tổng số giảm tạp chất nút (được xác định bởi xác suất đạt đến nút đó (được ước tính bằng tỷ lệ mẫu đạt đến nút đó)) trung bình trên tất cả cây của bộ quần áo.

Trong tài liệu hoặc trong một số gói khác, bạn cũng có thể tìm thấy các tính năng nhập được thực hiện dưới dạng "độ chính xác giảm trung bình". Về cơ bản, ý tưởng là để đo độ chính xác giảm trên dữ liệu OOB khi bạn hoán đổi ngẫu nhiên các giá trị cho đối tượng địa lý đó. Nếu mức giảm thấp thì tính năng này không quan trọng và ngược lại.

(Lưu ý rằng cả hai thuật toán có sẵn trong gói randomForest R).

[1]: Breiman, Friedman, "Phân loại và cây hồi quy", năm 1984.

Answer 4

Như @GillesLouppe chỉ ra ở trên, scikit-learning hiện thực hiện chỉ số "tạp chất giảm trung bình" cho các tính năng nhập. Cá nhân tôi tìm thấy số liệu thứ hai thú vị hơn một chút, nơi bạn ngẫu nhiên tính toán giá trị cho từng tính năng của mình từng lần một và xem hiệu suất bỏ túi của bạn tệ hơn bao nhiêu.

Vì những gì bạn quan tâm với tính năng quan trọng là mỗi tính năng đóng góp vào hiệu suất dự đoán của toàn bộ mô hình của bạn như thế nào, chỉ số thứ hai thực sự mang lại cho bạn thước đo trực tiếp về điều này, trong khi "tạp chất giảm trung bình" chỉ là một proxy tốt .

Nếu bạn quan tâm, tôi đã viết một gói nhỏ mà thực hiện tầm quan trọng hoán vị hệ mét và có thể được sử dụng để tính toán các giá trị từ một thể hiện của một lớp rừng ngẫu nhiên scikit-học:

https://github.com/pjh2011/rf_perm_feat_import

Chỉnh sửa: Tính năng này hoạt động với Python 2.7, không phải 3