CUDA lõi vs số đếm

Question

Tôi bị nhầm lẫn bởi mối quan hệ giữa số lượng lõi trong GPU của NVIDIA, số SMP và số lượng chuỗi tối đa. Các thuộc tính thiết bị cho máy tính xách tay của tôi GT650m hiển thị 384 lõi, 2 SMP, với 1024 chủ đề cho mỗi SMP.

Các số này liên quan đến nhau và kích thước dọc như thế nào? Tôi giả sử (có lẽ không chính xác) rằng có 192 lõi cho mỗi SMP, nhưng đó không phải là một yếu tố của 1024. Nếu mỗi lõi chạy một sợi dọc của 32 chủ đề, tôi sẽ mong đợi 32 * 192 chủ đề cho mỗi SMP, hoặc 2^5 * (2^7 + 2^6) hoặc 4096 + 2048 = 6142.

Tôi đang thiếu gì?

Answer 1

Tôi nghĩ bạn nên có cái nhìn sâu hơn về lập kế hoạch nhân trong cuda.

Có hai kích cỡ quan trọng: khối và chủ đề cho mỗi khối

Mỗi khối được lên kế hoạch trên một SM và là có sau đó cắt thành warps. Do đó, các khối có bộ nhớ dùng chung chỉ có thể truy cập bên trong khối, vì bộ nhớ nằm trên bộ nhớ SM. Số lượng khối cho mỗi SM phụ thuộc vào giới hạn thiết bị và tính toán số người dùng. Khối tối đa cho mỗi SM là 8 cho CC 1.0-2.x và 16 cho CC 3.x.

Mỗi khối có một số lượng nhất định là chủ đề cho mỗi khối. Các chủ đề được chia vào warps và warps có thể được chạy theo thứ tự tùy ý chỉ được xác định bởi warp- scheduler một SM.

Bây giờ thẻ của bạn có tổng số 384 lõi trên 2 SM với 192 lõi mỗi. Số lõi CUDA đại diện cho tổng số các dấu phẩy động hoặc các số nguyên chỉ có độ chính xác đơn có thể được thực hiện trên mỗi chu kỳ. Không xem xét lõi CUDA trong bất kỳ phép tính nào.

Số tối đa chủ đề thay đổi theo khả năng tính toán. CC2.0-3.x hỗ trợ tối đa 1024 luồng cho mỗi khối cho đủ các thanh ghi và các khe dọc. Warps được gán tĩnh cho các bộ lập lịch warp. Số lượng bộ lập lịch dọc mỗi SM là 1 cho CC 1.x, 2 cho CC 2.x và 4 cho CC 3.x.

Nếu ứng dụng của bạn không thực thi hạt nhân đồng thời thì để sử dụng từng SM, gridDim phải có> = số khối SM.

Để GTX650m sử dụng đầy đủ công suất tính toán của bạn, bạn nên có ít nhất hai khối (nếu không có một khối bạn chỉ có thể sử dụng một SM). Mặt khác, nếu bạn muốn lên lịch các luồng 10240, bạn có thể dễ dàng lên lịch 10 khối gồm 1024 luồng.