Tại sao chúng ta cần gọi zero_grad() trên trình tối ưu hóa một cách rõ ràng?

Question

Tại sao chúng ta cần phải làm không gradients một cách rõ ràng trong pytorch. Tại sao không thể tô đậm độ dốc khi gọi loss.backward(). Kịch bản nào được phân phát bằng cách giữ cho các gradient trên biểu đồ và yêu cầu người dùng rõ ràng là không có các gradient?

Tôi đang tìm kiếm giải thích tốt.

Answer 1

Ý kiến ​​của tôi là sau loss.backward(), chúng tôi cần sử dụng optimizer.step() để tiến hành độ dốc gốc, do đó, độ dốc được dành riêng khi 2 thao tác được tách riêng.

Ngoài ra, một số lần chúng ta cần phải tích lũy gradient giữa một số lô, chúng tôi có thể đơn giản lạc hậu nhiều lần và tối ưu hóa một lần.

Answer 2

Tôi có trường hợp sử dụng cho thiết lập hiện tại trong PyTorch. Nếu một người đang sử dụng mạng nơron tái diễn đang đưa ra các dự đoán ở mọi bước, người ta có thể muốn có một tham số cho phép người ta tích lũy lại gradient theo thời gian. Không làm zero các gradient ở mọi bước thời gian cho phép người ta sử dụng Back propagating qua thời gian (bptt) theo những cách thú vị và mới lạ. Nếu bạn muốn biết thêm thông tin về mạng nơron bptt hoặc mạng neural tái phát, hãy xem Back prop hoặc RNN