Tensorflow hỗ trợ luồng Cuda như thế nào?

Question

Liệu Tensorflow có sử dụng luồng Cuda tự động để thực thi đồng thời biểu đồ tính toán trên một GPU hay các luồng sẽ được gán thủ công cho ops/tensors không?

Answer 1

Hiện tại, TensorFlow chỉ sử dụng một luồng tính toán và nhiều luồng sao chép. Một số hạt nhân có thể chọn sử dụng nhiều luồng để tính toán, trong khi vẫn duy trì ngữ nghĩa một dòng. Thử nghiệm của chúng tôi cho thấy việc bật đa luồng tự động không mang lại nhiều hiệu suất, bởi vì hầu hết các hạt nhân của chúng tôi đủ lớn để sử dụng tất cả các bộ xử lý trong GPU. Nhưng việc bật đa luồng sẽ vô hiệu hóa thiết kế hiện tại của chúng tôi để tái chế bộ nhớ GPU tích cực.

Đây là quyết định chúng tôi có thể truy cập lại trong tương lai. Nếu điều đó xảy ra, có khả năng TensorFlow sẽ tự động gán ops/kernel cho các luồng Cuda khác nhau, mà không lộ chúng cho người dùng.