Trong bài đăng trên blog của Ilya Sutskever, A brief overview of Deep Learning, ông mô tả cách chọn kích thước minibatch phù hợp để đào tạo mạng thần kinh sâu hiệu quả. Ông đưa ra lời khuyên "sử dụng minibatch nhỏ hơn chạy hiệu quả trên máy tính của bạn". Xem báo giá đầy đủ bên dưới.Chọn kích thước nhỏ gọn cho việc học tập sâu
Tôi đã nhìn thấy những phát biểu tương tự của các nhà nghiên cứu học thuật sâu sắc nổi tiếng khác, nhưng vẫn chưa rõ tôi làm thế nào để tìm được kích thước nhỏ nhất chính xác. Nhìn thấy như một minibatch lớn hơn có thể cho phép một tỷ lệ học tập lớn hơn, có vẻ như nó đòi hỏi rất nhiều thí nghiệm để xác định xem một kích thước minibatch nhất định mang lại hiệu suất tốt hơn về tốc độ đào tạo.
Tôi có GPU có RAM 4 GB và sử dụng thư viện Caffe và Keras. Điều gì là trong trường hợp này một heuristic thực tế để lựa chọn một kích thước minibatch tốt cho rằng mỗi quan sát có một dấu chân bộ nhớ nhất định M?
Minibatches: Sử dụng minibatches. Máy tính hiện đại không thể hiệu quả nếu bạn xử lý một trường hợp đào tạo tại một thời điểm. Nó là bao la hiệu quả hơn để đào tạo mạng trên minibatches của 128 ví dụ, bởi vì làm như vậy sẽ cho kết quả lớn hơn thông lượng. Nó thực sự sẽ được tốt đẹp để sử dụng minibatches kích thước 1, và họ có lẽ sẽ dẫn đến hiệu suất được cải thiện và thấp hơn; nhưng lợi ích của việc thực hiện như vậy là lớn hơn số lợi ích tính toán lớn được cung cấp bởi minibatches. Nhưng đừng sử dụng các xe buýt nhỏ rất lớn vì chúng có xu hướng hoạt động kém hơn và vượt trội hơn. Vì vậy, các khuyến nghị thực tế là: sử dụng minibatch nhỏ hơn chạy hiệu quả trên máy tính của bạn.