Bạn có kiến thức cơ bản về tính song song với các phần của chương trình. C++ 17 đang nhận được nhiều người trong số họ (ví dụ: phiên bản song song của việc tìm kiếm, sắp xếp, tìm và bạn bè, map_reduce, bản đồ, giảm, tiền tố_sum ...) xem C++ Extensions for Parallelism
Sau đó, bạn có các mục như tiếp tục. Hãy suy nghĩ std::future nhưng vẫn tiếp tục. Có rất ít cách để thực hiện những điều này (boost có một cách tốt nhất hiện nay như là tiêu chuẩn không có phương thức tiếp theo (...) hoặc sau đó (...), nhưng lợi ích lớn là người ta không phải chờ đợi nó để làm các công việc tiếp theo
auto fut = async([](){..some work...}).then([](result_of_prev){...more work}).then... ;
fut.wait();
sự thiếu đồng bộ giữa các nhiệm vụ tiếp theo là quan trọng như thông tin liên lạc giữa các tác vụ/chủ đề/... là những gì làm chậm chương trình xuống song song.
vì vậy, với nhiệm vụ dựa song song thực sự thoải mái. với một lịch trình công việc bạn chỉ cần vượt qua nhiệm vụ tắt và bỏ đi. Họ có thể có phương pháp, giống như một semaphore, để giao tiếp trở lại nhưng đó không phải là bắt buộc. Cả hai Intel Thread Building Blocks và Microsoft Parallel Pattern Library có fa khả năng này.
Sau đó chúng ta có ngã ba/join mẫu. Nó không hàm ý tạo N luồng cho mỗi tác vụ. Chỉ cần bạn có những N, lý tưởng độc lập, điều cần làm (ngã ba) và khi chúng được thực hiện có một điểm đồng bộ hóa ở đâu đó (tham gia).
auto semaphore = make_semaphore(num_tasks);
add_task([&semaphore]() {...task1...; semaphore.notify(); });
add_task([&semaphore]() {...task2...; semaphore.notify(); });
...
add_task([&semaphore]() {...taskN...; semaphore.notify(); });
semaphore.wait();
Từ trên bạn có thể bắt đầu thấy mẫu này là biểu đồ luồng. Tương lai là (A >> B >> C >> D) và Fork Tham gia là (A | B | C | D). Với điều đó bạn có thể kết hợp chúng để tạo thành một biểu đồ. (A1 >> A2 | B1 >> B2 >> B3 | C1 | D1 >> D2 >> (E1 >> E2 | F1)) Trong đó A1 >> A2 có nghĩa là A1 phải đứng trước A2 và A | B có nghĩa là A và B có thể chạy đồng thời. Các phần chậm ở cuối đồ thị/đồ thị con nơi mọi thứ gặp nhau.
Mục đích là để tìm phần độc lập của hệ thống mà không cần phải giao tiếp. Các thuật toán song song, như đã nói ở trên, hầu như tất cả các trường hợp chậm hơn so với các đối tác tuần tự của chúng cho đến khi tải công việc đủ cao hoặc kích thước đủ lớn (giả sử giao tiếp không quá trò chuyện). Ví dụ phân loại. Trên một máy tính 4 lõi, bạn sẽ nhận được khoảng 2.5X hiệu suất cung cấp hoặc mất vì hợp nhất là chatty và đòi hỏi rất nhiều đồng bộ hóa và không làm việc tất cả các lõi sau vòng đầu tiên hợp nhất. Trên một GPU có N là rất lớn, người ta có thể sử dụng một loại ít hiệu quả hơn, như Bitonic, và nó kết thúc rất nhanh bởi vì bạn có rất nhiều công nhân làm việc thông qua công việc và mọi người đều im lặng làm việc riêng của họ.
Một số thủ thuật để giảm commmunication bao gồm, sử dụng một mảng cho kết quả sao cho mỗi công việc không cố gắng để khóa một đối tượng nhằm thúc đẩy một giá trị. Thường thì việc giảm các kết quả này có thể rất nhanh.
Nhưng với tất cả các loại xử lý song song chậm đi xuất phát từ truyền thông. Giảm nó.
Bạn có thể làm rõ những gì loại lập trình song song bạn quan tâm? Lập trình phân tán bằng cách sử dụng MPI khác biệt đáng kể so với tính song song mức vòng lặp sử dụng OpenMP. – mch
Tôi đặc biệt quan tâm đến các mẫu chung và thành ngữ trong lập trình song song - cho dù đó là với các mô hình bộ nhớ phân tán hoặc bộ nhớ chia sẻ trên một máy đơn lẻ hoặc nhiều máy. –