Dòng chảy: giảm giảm, nhưng độ chính xác ổn định

Question

Nhóm của tôi đang đào tạo CNN trong Tensorflow để phân loại nhị phân các bộ phận bị hỏng/chấp nhận được. Chúng tôi đã tạo mã bằng cách sửa đổi mã ví dụ cifar10. Theo kinh nghiệm trước đây của tôi với mạng lưới thần kinh, tôi luôn được đào tạo cho đến khi thua lỗ rất gần với 0 (dưới 1). Tuy nhiên, chúng tôi hiện đang đánh giá mô hình của mình với một bộ xác thực trong quá trình đào tạo (trên một GPU riêng biệt) và có vẻ như độ chính xác đã ngừng tăng sau khoảng 6,7k, trong khi sự mất mát vẫn giảm liên tục sau hơn 40k bước. Đây có phải là do overfitting? Chúng ta có nên mong đợi một sự tăng đột biến khác về độ chính xác khi sự mất mát rất gần với không? Độ chính xác tối đa hiện tại không được chấp nhận. Chúng ta có nên giết nó và tiếp tục điều chỉnh không? Bạn đề xuất món gì? Đây là mã và đồ thị được sửa đổi của chúng tôi trong quá trình đào tạo.

https://gist.github.com/justineyster/6226535a8ee3f567e759c2ff2ae3776b

Precision and Loss Images

Answer 1

Dưới đây là gợi ý của tôi, một trong những vấn đề có thể là sự khởi đầu mạng của bạn để ghi nhớ dữ liệu, vâng bạn nên tăng quy tắc,

có giết nó, với giảm tổn thất để đào tạo và có độ chính xác ổn định để xác thực, điều đó có nghĩa là dung lượng mạng của bạn thấp (mô hình yếu) cố gắng đi sâu hơn.

Answer 2

Sự sụt giảm sự mất entropy chéo nhị phân không hàm ý tăng độ chính xác. Xem xét nhãn 1, các dự đoán 0,2, 0,4 và 0,6 tại các dấu thời gian 1, 2, 3 và ngưỡng phân loại 0,5. timesteps 1 và 2 sẽ làm giảm sự mất mát nhưng không tăng độ chính xác.

Đảm bảo rằng mô hình của bạn có đủ dung lượng bằng cách ghi đè dữ liệu đào tạo. Nếu mô hình vượt quá dữ liệu đào tạo, tránh sử dụng quá mức bằng cách sử dụng các kỹ thuật thông thường như bỏ học, chuẩn hóa L1 và L2 và tăng cường dữ liệu.

Cuối cùng, xác nhận dữ liệu xác thực và dữ liệu đào tạo của bạn đến từ cùng một bản phân phối.