2014-12-26 19 views
7

Vì YARN chịu trách nhiệm quản lý tài nguyên của các ứng dụng Hadoop, như lõi và quy trình, là một ứng dụng YARN được phép tạo chủ đề mới?Có cho phép đa luồng trên Spark/YARN không?

Tôi giới thiệu chủ yếu cho các ứng dụng Spark chạy trên trình quản lý tài nguyên YARN. Tôi biết rằng nếu bạn tạo ra một chủ đề mới không có lỗi nào được ném nhưng, nó có an toàn không?

+0

Ý bạn là tạo chủ đề mới? Tôi tin rằng Spark hỗ trợ chạy trên YARN và thậm chí có các tùy chọn như num-workers. – softwarenewbie7331

+0

Tôi có nghĩa là tạo "Thread mới()" và chạy mã tùy chỉnh trên một công nhân đơn lẻ. Tôi không quan tâm liệu đó có phải là một thực hành tốt nhất hay không. –

Trả lời

5

Tôi tự trả lời. YARN kiểm soát các tài nguyên như bộ nhớ và lõi, chứ không phải chủ đề. Các lõi được điều khiển bằng cách thay đổi các thông số hệ điều hành cụ thể khi tạo các thùng chứa (quá trình ái lực). Sau đó, JVM đang chạy bằng cách sử dụng một số lõi được chỉ định và bạn có thể tạo bao nhiêu luồng tùy ý.

Các vấn đề liên quan