Công thức gradient truyền trở lại mất ba chiều là gì?

Question

Tôi đang cố gắng sử dụng caffe để thực hiện tổn thất ba lần được mô tả trong Schroff, Kalenichenko and Philbin "FaceNet: A Unified Embedding for Face Recognition and Clustering", 2015.

Tôi mới làm điều này để làm thế nào để tính toán gradient trong tuyên truyền trở lại?

Answer 1

tôi giả sử bạn định nghĩa các lớp mất mát như

layer { 
    name: "tripletLoss" 
    type: "TripletLoss" 
    bottom: "anchor" 
    bottom: "positive" 
    bottom: "negative" 
    ... 
} 

Bây giờ bạn cần phải tính toán một gradient w.r.t mỗi "đáy" s.

Sự mất mát được cho bởi:

Gradient wrt "neo" đầu vào (fa):

Gradient wrt "tích cực" đầu vào (fp):

Độ dốc chèn đầu vào "phủ định" (fn):

---

Việc tính toán ban đầu (tôi rời khỏi đây vì lý do tình cảm ...)

Xin xem comment chỉnh các hạn cuối cùng.