hồi quy đầu ra muti trong xgboost

Question

Có thể đào tạo một mô hình trong Xgboost có nhiều đầu ra liên tục (hồi quy đa) không? Mục tiêu đào tạo mô hình như thế nào?

Cảm ơn trước cho bất cứ đề nghị

Answer 1

Đề nghị của tôi là sử dụng sklearn.multioutput.MultiOutputRegressor như là một wrapper của xgb.XGBRegressor. MultiOutputRegressor đào tạo một bộ hồi quy cho mỗi mục tiêu và chỉ yêu cầu bộ hồi quy thực hiện fit và predict, mà xgboost xảy ra để hỗ trợ.

# get some noised linear data 
X = np.random.random((1000, 10)) 
a = np.random.random((10, 3)) 
y = np.dot(X, a) + np.random.normal(0, 1e-3, (1000, 3)) 

# fitting 
multioutputregressor = MultiOutputRegressor(xgb.XGBRegressor(objective='reg:linear')).fit(X, y) 

# predicting 
print np.mean((multioutputregressor.predict(X) - y)**2, axis=0) # 0.004, 0.003, 0.005 

Đây có lẽ là cách dễ nhất để thoái mục tiêu đa chiều sử dụng xgboost như bạn sẽ không cần phải thay đổi bất kỳ phần nào khác của mã của bạn (nếu bạn đang sử dụng sklearn API ban đầu).

Tuy nhiên, phương pháp này không tận dụng bất kỳ mối quan hệ nào có thể giữa các mục tiêu. Nhưng bạn có thể thử thiết kế một hàm customized objective để đạt được điều đó.