Thực hiện LSTM với lổ nhìn trộm

Question

Tôi đã đọc các bài báo về LSTM và kiểm tra việc triển khai LSTM. Có một điểm không rõ ràng với tôi.
Trong hầu hết các giấy tờ nó được đề cập rằng các ma trận trọng lượng từ các tế bào để vectơ cổng nên đường chéo (ví dụ: Alex trang 5, 2013), nhưng tôi đã không nhìn thấy điều này trong bất kỳ thực hiện.
Ví dụ:
1 2 Ví dụ khác là từ phòng thí nghiệm mila. 3

Những người này đang thực hiện sai hoặc tôi đang thiếu thứ gì đó?

thực hiện

Answer 1

Các TensorFlow không sử dụng một ma trận đường chéo, xem here. Lưu ý rằng điều này có nghĩa là trong thực tế là các lỗ hổng chỉ đi từ các tế bào cho chính nó, và do đó bạn đang làm nhân số nguyên tố vector.