Tính toán độ dốc của chức năng mất SVM

Question

Tôi đang cố gắng triển khai chức năng mất SVM và độ dốc của nó. Tôi tìm thấy một số dự án ví dụ thực hiện hai, nhưng tôi không thể tìm ra cách họ có thể sử dụng chức năng mất mát khi tính toán gradient.

Dưới đây là công thức của chức năng mất:

Những gì tôi không thể hiểu là làm thế nào tôi có thể sử dụng kết quả hàm tổn thất trong khi độ dốc tính toán?

Ví dụ dự án tính toán gradient như sau:

for i in xrange(num_train): 
    scores = X[i].dot(W) 
    correct_class_score = scores[y[i]] 
    for j in xrange(num_classes): 
     if j == y[i]: 
     continue 
     margin = scores[j] - correct_class_score + 1 # note delta = 1 
     if margin > 0: 
     loss += margin 
     dW[:,j] += X[i] 
     dW[:,y[i]] -= X[i] 

DW là cho kết quả gradient. Và X là mảng dữ liệu huấn luyện. Nhưng tôi không hiểu làm thế nào đạo hàm của hàm mất kết quả trong mã này.

Answer 1

Nếu bề mặt nhỏ hơn 0 thì tổn thất bằng 0, do đó độ dốc của W cũng bằng 0. Nếu điểm dừng lớn hơn 0, thì độ dốc của W là sự phân chia một phần của sự mất mát.

Answer 2

Phương pháp tính toán độ dốc trong trường hợp này là Calculus (phân tích, KHÔNG phải số lượng!). Vì vậy, chúng tôi phân biệt chức năng mất mát đối với W (yi) như thế này:!

và đối với W (k) khi j với = yi là:

Các 1 chỉ là chỉ số để chúng ta có thể bỏ qua dạng giữa khi điều kiện là đúng. Và khi bạn viết mã, ví dụ bạn cung cấp là câu trả lời.

Vì bạn đang sử dụng ví dụ cs231n, bạn chắc chắn nên kiểm tra note và video nếu cần.

Hy vọng điều này sẽ hữu ích!