Làm cách nào để có được độ dốc của sự mất mát ở biến TensorFlow?

Question

Tính năng tôi theo sau là để có thể biết được độ dốc của một biến nhất định liên quan đến chức năng lỗi của tôi cho một số dữ liệu. Một cách để thực hiện điều này là xem có bao nhiêu biến đã thay đổi sau khi cuộc gọi được huấn luyện, nhưng rõ ràng là có thể thay đổi một cách ồ ạt dựa trên thuật toán học tập (ví dụ như hầu như không thể nói với một thứ như RProp)) và không phải là rất sạch sẽ.

Xin cảm ơn trước.

Answer 1

Chức năng tf.gradients() cho phép bạn tính toán độ dốc biểu tượng của một tensor đối với một hoặc nhiều tensors khác — bao gồm các biến. Hãy xem xét các ví dụ đơn giản sau:

data = tf.placeholder(tf.float32) 
var = tf.Variable(...)    # Must be a tf.float32 or tf.float64 variable. 
loss = some_function_of(var, data) # some_function_of() returns a `Tensor`. 

var_grad = tf.gradients(loss, [var])[0] 

Sau đó bạn có thể sử dụng độ dốc biểu tượng này để tính toán gradient số cho một số dữ liệu cụ thể:

sess = tf.Session() 

var_grad_val = sess.run(var_grad, feed_dict={data: ...})