Có cách nào đơn giản để tìm bộ nhớ GPU được tiêu thụ bởi mô hình khởi động-resnet-v2 được khởi tạo trong lưu lượng tensor không? Điều này bao gồm suy luận và các ký ức backprop cần thiết.Làm cách nào để tính toán bộ nhớ GPU cần thiết để chạy mô hình trong TensorFlow?
Kể từ khi sử dụng gpu.options.allow_growth và gpu_options.per_process_gpu_memory_fraction cho ước lượng mô hình kích thước hiện là một thử nghiệm-và-lỗi và giải pháp tẻ nhạt, tôi đề nghị sử dụng tf.RunMetadata() kết hợp với tensorboard.
Ví dụ:
run_options = tf.RunOptions(trace_level=tf.RunOptions.FULL_TRACE)
run_metadata = tf.RunMetadata()
summary, _ = sess.run(train_step, feed_dict, options=run_options, run_metadata=run_metadata)
train_writer.add_run_metadata(run_metadata, 'step%d' % i)
Chạy mô hình và tensorboard của bạn, điều hướng đến phần mong muốn của đồ thị của bạn và đọc số liệu thống kê node.
Bạn có thể tính toán bộ nhớ cần thiết một cách rõ ràng để lưu trữ các thông số, nhưng tôi sợ sẽ khó tính toán kích thước của tất cả bộ đệm cần thiết cho việc đào tạo. Có lẽ, một cách thông minh hơn sẽ là làm cho TF làm điều đó cho bạn. Đặt tùy chọn cấu hình gpu_options.allow_growth thành True và xem mức độ sử dụng nó là bao nhiêu. Một tùy chọn khác là thử các giá trị nhỏ hơn cho gpu_options.per_process_gpu_memory_fraction cho đến khi nó không hoạt động hết bộ nhớ.