2017-07-05 34 views
12

Từ các tài liệu Keras:Keras: sự khác biệt giữa bỏ học LSTM và LSTM tái bỏ học

bỏ học: phao giữa 0 và 1. Phân số của các đơn vị để thả cho chuyển đổi tuyến tính của các đầu vào.

recurrent_dropout: Float giữa 0 và 1. Phân số các đơn vị thành giảm cho phép chuyển đổi tuyến tính của trạng thái lặp lại.

Có ai có thể trỏ đến vị trí trên hình ảnh bên dưới mỗi lần bỏ học xảy ra không?

enter image description here

+0

'để chuyển đổi tuyến tính của các yếu tố đầu vào' để x_t –

Trả lời

15

tôi khuyên bạn nên xem tại (phần đầu của) this paper. Việc bỏ học thường xuyên được áp dụng cho các đầu vào và/hoặc đầu ra, có nghĩa là các mũi tên dọc từ x_t và đến h_t. Khi bạn thêm nó làm đối số cho lớp của bạn, nó sẽ che dấu các đầu vào; bạn có thể thêm một lớp Dropout sau lớp lặp lại của bạn để che dấu các kết quả đầu ra. Mặt nạ bỏ học thường xuyên (hoặc "giọt") các kết nối giữa các đơn vị tái phát; đó sẽ là mũi tên ngang trong ảnh của bạn.

Ảnh này được lấy từ giấy ở trên. Ở bên trái, thường xuyên bỏ học trên đầu vào và đầu ra. Bên phải, thường xuyên bỏ học PLUS tái bỏ học:

This picture is taken from the paper above. On the left, regular dropout on inputs and outputs. On the right, regular dropout PLUS recurrent dropout.

(Bỏ qua các màu sắc của các mũi tên trong trường hợp này, trong bài báo họ đang làm cho một điểm nữa của việc giữ mặt nạ bỏ học cùng tại mỗi bước thời gian)

Các vấn đề liên quan