Xác nhận chéo 10 lần

Question

Trong k lần, chúng tôi có điều này: bạn chia dữ liệu thành tập con k của (xấp xỉ) kích thước bằng nhau. Bạn đào tạo k lần net, mỗi lần để lại một trong các tập hợp con khỏi đào tạo, nhưng chỉ sử dụng tập hợp con bị bỏ qua để tính toán bất kỳ tiêu chí lỗi nào bạn quan tâm. Nếu k bằng với kích thước mẫu , điều này được gọi là "bỏ qua một lần" xác thực chéo. "Thoát-v-out" là phiên bản phức tạp hơn và đắt tiền hơn của xác thực chéo liên quan đến việc bỏ tất cả các tập con có thể có của các trường hợp v.

đào tạo và kiểm tra Thuật ngữ có nghĩa là gì? Tôi không thể hiểu được.

bạn vui lòng cho tôi biết một số tài liệu tham khảo nơi tôi có thể tìm hiểu thuật toán này bằng ví dụ?

Train classifier on folds: 2 3 4 5 6 7 8 9 10; Test against fold: 1 
Train classifier on folds: 1 3 4 5 6 7 8 9 10; Test against fold: 2 
Train classifier on folds: 1 2 4 5 6 7 8 9 10; Test against fold: 3 
Train classifier on folds: 1 2 3 5 6 7 8 9 10; Test against fold: 4 
Train classifier on folds: 1 2 3 4 6 7 8 9 10; Test against fold: 5 
Train classifier on folds: 1 2 3 4 5 7 8 9 10; Test against fold: 6 
Train classifier on folds: 1 2 3 4 5 6 8 9 10; Test against fold: 7 
Train classifier on folds: 1 2 3 4 5 6 7 9 10; Test against fold: 8 
Train classifier on folds: 1 2 3 4 5 6 7 8 10; Test against fold: 9 
Train classifier on folds: 1 2 3 4 5 6 7 8 9; Test against fold: 10 

Answer 1

Nói tóm lại: Đào tạo là quá trình cung cấp thông tin phản hồi để các thuật toán để điều chỉnh công suất dự báo của các phân loại (s) nó tạo ra.

Kiểm tra là quá trình xác định độ chính xác thực tế của (các) trình phân loại được tạo bởi thuật toán. Trong quá trình thử nghiệm, các trình phân loại được đưa ra các trường hợp dữ liệu chưa từng thấy trước để thực hiện xác nhận cuối cùng rằng độ chính xác của trình phân loại không khác nhiều so với trong quá trình đào tạo.

Tuy nhiên, bạn đang thiếu một bước quan trọng ở giữa: xác thực (đó là những gì bạn đang đề cập đến trong xác nhận chéo 10 lần/k-fold).

Xác thực (thường) được thực hiện sau mỗi bước đào tạo và nó được thực hiện để giúp xác định xem trình phân loại có được ghi đè hay không. Bước xác nhận không cung cấp bất kỳ phản hồi nào cho thuật toán để điều chỉnh trình phân loại, nhưng nó giúp xác định xem việc overfitting có xảy ra hay không và nó báo hiệu khi nào việc đào tạo phải được chấm dứt.

Hãy suy nghĩ về quá trình theo cách thức sau đây:

1. Train on the training data set. 
2. Validate on the validation data set. 
if(change in validation accuracy > 0) 
    3. repeat step 1 and 2 
else 
    3. stop training 
4. Test on the testing data set. 

Answer 2

Trong phương pháp k lần, bạn đã chia dữ liệu thành các đoạn k, k-1 trong số họ được sử dụng cho việc đào tạo, trong khi một còn lại ra và được sử dụng để thử nghiệm. Nó được thực hiện k lần, lần đầu tiên, đoạn đầu tiên được sử dụng để thử nghiệm và phần còn lại được sử dụng để đào tạo, sau đó phân đoạn thứ hai được sử dụng để kiểm tra và phần còn lại được sử dụng để đào tạo, v.v. Nó rõ ràng từ ví dụ của bạn về 10 lần, vì vậy nó phải đơn giản, đọc lại.

Bây giờ về những gì huấn luyện và những gì thử nghiệm là:

Đào tạo trong phân loại là phần mà một mô hình phân loại được tạo ra, sử dụng một số thuật toán, thuật toán phổ biến để tạo mô hình đào tạo là ID3, C4.5, vv

Kiểm tra phương tiện để đánh giá mô hình phân loại bằng cách chạy mô hình trên dữ liệu thử nghiệm, sau đó tạo ma trận nhầm lẫn và sau đó tính toán độ chính xác và tỷ lệ lỗi của mô hình.

Trong phương pháp K-fold, các mô hình k được tạo (như mô tả ở trên) và mô hình phân loại chính xác nhất được chọn.