Biến thể loại XGBoost: Dummification vs encoding

Question

Khi sử dụng XGBoost, chúng ta cần chuyển đổi các biến phân loại thành số.

Nên có bất kỳ sự khác biệt trong số liệu hiệu suất/đánh giá giữa các phương pháp:

1. dummifying biến phân loại của bạn
2. mã hóa biến phân loại của bạn từ ví dụ (A, b, c) (1,2,3)

CŨNG:

Nên có bất kỳ lý do để không đi với phương pháp 2 bằng cách sử dụng ví dụ labelencoder?

Answer 1

xgboost chỉ giao dịch với các cột số.

nếu bạn có một tính năng [a,b,b,c] trong đó mô tả một biến phân loại (tức là không có mối quan hệ số)

Sử dụng LabelEncoder bạn sẽ chỉ cần có này:

array([0, 1, 1, 2]) 

Xgboostsai sẽ giải thích tính năng này như có một mối quan hệ số! Điều này chỉ cần ánh xạ mỗi chuỗi ('a','b','c') đến một số nguyên, không có gì khác.

đúng cách

Sử dụng OneHotEncoder bạn cuối cùng sẽ nhận được như sau:

array([[ 1., 0., 0.], 
     [ 0., 1., 0.], 
     [ 0., 1., 0.], 
     [ 0., 0., 1.]]) 

Đây là đại diện thích hợp của một biến phân loại cho xgboost hoặc bất kỳ công cụ học tập máy khác.

Pandas get_dummies là công cụ tốt để tạo biến giả (dễ sử dụng hơn theo ý kiến ​​của tôi).

Phương pháp # 2 trong câu hỏi trên sẽ không đại diện cho dữ liệu đúng