Làm thế nào để có được kết quả ổn định với TensorFlow, thiết lập hạt giống ngẫu nhiên

Question

Tôi đang cố gắng chạy một mạng nơron nhiều lần với các tham số khác nhau để hiệu chỉnh tham số mạng (khả năng bỏ học, tỷ lệ học tập). Tuy nhiên tôi đang gặp những vấn đề mà chạy mạng trong khi vẫn giữ các thông số tương tự vẫn mang lại cho tôi một giải pháp khác nhau khi tôi chạy mạng trong một vòng lặp như sau:

filename = create_results_file() 
for i in range(3): 
    g = tf.Graph() 
    with g.as_default(): 
    accuracy_result, average_error = network.train_network(
     parameters, inputHeight, inputWidth, inputChannels, outputClasses) 
    f, w = get_csv_writer(filename) 
    w.writerow([accuracy_result, "did run %d" % i, average_error]) 
    f.close() 

Tôi đang sử dụng đoạn mã sau vào lúc bắt đầu chức năng train_network tôi trước khi thiết lập các lớp và hàm sai số của mạng của tôi:

np.random.seed(1) 
tf.set_random_seed(1) 

tôi cũng đã thử thêm mã này trước khi tạo biểu đồ TensorFlow, nhưng tôi cứ bị các giải pháp khác nhau về sản lượng kết quả của tôi.

Tôi đang sử dụng Trình kích hoạt AdamOptimizer và đang khởi tạo trọng số mạng bằng cách sử dụng tf.truncated_normal. Ngoài ra, tôi đang sử dụng np.random.permutation để trộn các hình ảnh đến cho mỗi kỷ nguyên.

Answer 1

Đặt hạt giống ngẫu nhiên TensorFlow hiện tại chỉ ảnh hưởng đến biểu đồ mặc định hiện tại. Vì bạn đang tạo một biểu đồ mới cho đào tạo của mình và đặt nó làm mặc định (with g.as_default():), bạn phải đặt hạt giống ngẫu nhiên trong phạm vi khối with đó.

Ví dụ, vòng lặp của bạn sẽ giống như sau:

for i in range(3): 
    g = tf.Graph() 
    with g.as_default(): 
    tf.set_random_seed(1) 
    accuracy_result, average_error = network.train_network(
     parameters, inputHeight, inputWidth, inputChannels, outputClasses) 

Lưu ý rằng điều này sẽ sử dụng hạt giống ngẫu nhiên tương tự cho mỗi lần lặp của vòng lặp bên ngoài for. Nếu bạn muốn sử dụng khác nhau — nhưng vẫn xác định hạt giống — trong mỗi lần lặp, bạn có thể sử dụng tf.set_random_seed(i + 1).

Answer 2

Có thể có được hành vi xác định bằng cách cung cấp một cấp độ biểu đồ hoặc một cấp độ hoạt động. Cả hai đều làm việc cho tôi. Một hạt giống cấp đồ thị có thể được đặt với tf.set_random_seed. Có thể đặt hạt giống cấp hoạt động, ví dụ: trong bộ mã hóa biến thể như sau:

myvar = tf.Variable(tf.truncated_normal(((10,10)), stddev=0.1, seed=0))