Apache Mesos có nhận ra lõi GPU không?

Question

Trong slide 25 của this talk bởi Trưởng văn phòng nguồn mở của Twitter, người trình bày nói rằng Mesos cho phép một người theo dõi và quản lý các tài nguyên GPU (tôi cho rằng anh ta có nghĩa là GPGPU). Nhưng tôi không thể tìm thấy bất kỳ thông tin về điều này bất cứ nơi nào khác. Ai đó có thể giúp đỡ? Bên cạnh Mesos, có những nhà quản lý cluster khác hỗ trợ GPGPU không?

Answer 1

Mesos chưa cung cấp hỗ trợ trực tiếp cho GPU (GP), nhưng hỗ trợ các loại tài nguyên tùy chỉnh. Nếu bạn chỉ định --resources="gpu(*):8" khi bắt đầu mesos-slave, thì điều này sẽ trở thành một phần của cung cấp tài nguyên cho các khung công tác, có thể khởi chạy các tác vụ yêu cầu sử dụng các tài nguyên này. Khi một số tài nguyên gpu đang được sử dụng bởi một tác vụ, chỉ các tài nguyên còn lại sẽ được cung cấp lại, cho đến khi tác vụ đó hoàn tất và các tài nguyên gpu trở nên khả dụng trở lại. Bằng cách này, bộ cấp phát tài nguyên Mesos thực sự có thể lên lịch các tài nguyên gpu mà bạn khai báo và đảm bảo rằng chỉ số tiền được khai báo được cung cấp/phân bổ cho các khung công tác.

Mesos chưa hỗ trợ cách ly gpu, nhưng với "mô-đun cách ly có thể cắm", bạn có thể tạo trình tách lập gpu của riêng mình để thực thi giới hạn tài nguyên gpu. Cách khác, nếu bạn không muốn phân bổ tài nguyên gpu riêng lẻ, nhưng chỉ muốn khai báo một số nút khi có gpus trong khi những người khác thì không, bạn chỉ có thể sử dụng --attributes="hasGpu:true" hoặc một cái gì đó tương tự để phân biệt các nút có/không có gpus. Thông tin này cũng được truyền vào các khung công tác trong cung cấp tài nguyên, nhưng các thuộc tính này không thể được "tiêu thụ" bởi một tác vụ đang chạy, do đó chúng sẽ luôn được cung cấp cho nút đó.

Để biết thêm thông tin, hãy xem https://mesos.apache.org/documentation/attributes-resources/