Tensorflow có xu hướng preallocate toàn bộ bộ nhớ có sẵn trên GPU của nó. Để gỡ lỗi, liệu có cách nào để nói số lượng bộ nhớ đó thực sự đang được sử dụng không?Có cách nào để xác định bộ nhớ GPU đang được sử dụng bởi TensorFlow không?
(1) Có một số hỗ trợ giới hạn với Timeline để cấp phát bộ nhớ đăng nhập. Dưới đây là một ví dụ cho việc sử dụng của nó:
run_options = tf.RunOptions(trace_level=tf.RunOptions.FULL_TRACE)
run_metadata = tf.RunMetadata()
summary, _ = sess.run([merged, train_step],
feed_dict=feed_dict(True),
options=run_options,
run_metadata=run_metadata)
train_writer.add_run_metadata(run_metadata, 'step%03d' % i)
train_writer.add_summary(summary, i)
print('Adding run metadata for', i)
tl = timeline.Timeline(run_metadata.step_stats)
print(tl.generate_chrome_trace_format(show_memory=True))
trace_file = tf.gfile.Open(name='timeline', mode='w')
trace_file.write(tl.generate_chrome_trace_format(show_memory=True))
Bạn có thể cung cấp mã này thử với ví dụ MNIST (mnist with summaries)
này sẽ tạo ra một tập tin truy tìm tên dòng thời gian, bạn có thể mở bằng chrome:// truy tìm. Lưu ý rằng điều này chỉ cung cấp số liệu thống kê sử dụng bộ nhớ GPU xấp xỉ. Về cơ bản nó mô phỏng thực thi GPU, nhưng không có quyền truy cập vào siêu dữ liệu đồ thị đầy đủ. Nó cũng không thể biết có bao nhiêu biến đã được gán cho GPU.
(2) Đối với một biện pháp sử dụng bộ nhớ GPU rất thô, nvidia-smi sẽ hiển thị tổng mức sử dụng bộ nhớ thiết bị tại thời điểm bạn chạy lệnh.
nvprof có thể hiển thị mức sử dụng bộ nhớ chia sẻ trên chip và đăng ký mức sử dụng ở cấp hạt nhân CUDA, nhưng không hiển thị mức sử dụng bộ nhớ toàn cục/thiết bị.
Dưới đây là một lệnh ví dụ: nvprof --print-gpu-trace matrixMul
Và biết thêm chi tiết ở đây: http://docs.nvidia.com/cuda/profiler-users-guide/#abstract
Các hồ sơ TensorFlow đã được cải thiện thời gian bộ nhớ được dựa trên gpu thực thông tin bộ nhớ cấp phát https://github.com/tensorflow/tensorflow/tree/master/tensorflow/core/profiler#visualize-time-and-memory
Bạn có thể sử dụng bộ theo dõi bộ nhớ GPU của bên thứ 3 (nghĩa là GPU-Z) để hiển thị toàn bộ mức sử dụng GPU. Họ có thể không cung cấp cho bạn sử dụng GPU cho mỗi quy trình nhưng nếu bạn đang sử dụng GPU chỉ cho lưu lượng và nếu bạn không cần phân tích chi tiết, nó sẽ là giải pháp nhanh và chính xác.
Từ trong chrome: // truy tìm nơi bạn có thể thấy tổng phân bổ thiết bị? –