Đường cong ROC từ dữ liệu huấn luyện trong dấu mũ

Question

Sử dụng dấu mũ gói R, làm cách nào tôi có thể tạo đường cong ROC dựa trên kết quả xác thực chéo của hàm train()?

Nói, tôi làm như sau:

chức năng

data(Sonar) 
ctrl <- trainControl(method="cv", 
    summaryFunction=twoClassSummary, 
    classProbs=T) 
rfFit <- train(Class ~ ., data=Sonar, 
    method="rf", preProc=c("center", "scale"), 
    trControl=ctrl) 

Việc đào tạo đi qua một loạt các thông số mtry và tính toán các ROC AUC. Tôi muốn xem đường cong ROC liên quan - làm cách nào để làm điều đó?

Lưu ý: nếu phương pháp được sử dụng để lấy mẫu là LOOCV, thì rfFit sẽ chứa khung dữ liệu không trống trong khe rfFit$pred, dường như chính xác những gì tôi cần. Tuy nhiên, tôi cần điều đó cho phương thức "cv" (xác nhận k-fold) thay vì LOO.

Ngoài ra: không, roc chức năng được sử dụng để bao gồm trong phiên bản cũ của dấu mũ không phải là câu trả lời - đây là chức năng cấp thấp, bạn không thể sử dụng nó nếu bạn không có khả năng dự đoán cho mỗi mẫu được xác thực chéo.

Answer 1

Có chỉ là savePredictions = TRUE lập luận thiếu từ ctrl (điều này cũng làm việc cho các phương pháp lấy mẫu khác):

library(caret) 
library(mlbench) 
data(Sonar) 
ctrl <- trainControl(method="cv", 
        summaryFunction=twoClassSummary, 
        classProbs=T, 
        savePredictions = T) 
rfFit <- train(Class ~ ., data=Sonar, 
       method="rf", preProc=c("center", "scale"), 
       trControl=ctrl) 
library(pROC) 
# Select a parameter setting 
selectedIndices <- rfFit$pred$mtry == 2 
# Plot: 
plot.roc(rfFit$pred$obs[selectedIndices], 
     rfFit$pred$M[selectedIndices]) 

lẽ tôi đang thiếu một cái gì đó, nhưng một mối quan tâm nhỏ là train luôn là ước tính các giá trị AUC hơi khác so với plot.roc và pROC::auc (chênh lệch tuyệt đối < 0,005), mặc dù twoClassSummary sử dụng pROC::auc để ước tính AUC. Chỉnh sửa: Tôi giả định điều này xảy ra vì ROC từ train là mức trung bình của AUC sử dụng các bộ CV riêng biệt và ở đây chúng tôi tính AUC trên tất cả các mẫu đồng thời để có được AUC tổng thể.

Cập nhật Vì đây là nhận được một chút của sự chú ý, đây là một giải pháp sử dụng plotROC::geom_roc() cho ggplot2:

library(ggplot2) 
library(plotROC) 
ggplot(rfFit$pred[selectedIndices, ], 
     aes(m = M, d = factor(obs, levels = c("R", "M")))) + 
    geom_roc(hjust = -0.4, vjust = 1.5) + coord_equal() 

Answer 2

Ở đây, tôi đang thay đổi cốt truyện của @ thei1e mà những người khác có thể tìm thấy hữu ích.

tàu mô hình và đưa ra dự đoán

library(caret) 
library(ggplot2) 
library(mlbench) 
library(plotROC) 

data(Sonar) 

ctrl <- trainControl(method="cv", summaryFunction=twoClassSummary, classProbs=T, 
        savePredictions = T) 

rfFit <- train(Class ~ ., data=Sonar, method="rf", preProc=c("center", "scale"), 
       trControl=ctrl) 

# Select a parameter setting 
selectedIndices <- rfFit$pred$mtry == 2 

Cập nhật đường cong ROC cốt truyện

g <- ggplot(rfFit$pred[selectedIndices, ], aes(m=M, d=factor(obs, levels = c("R", "M")))) + 
    geom_roc(n.cuts=0) + 
    coord_equal() + 
    style_roc() 

g + annotate("text", x=0.75, y=0.25, label=paste("AUC =", round((calc_auc(g))$AUC, 4)))