Có khả năng chạy cụm độc lập Spark cục bộ chỉ trên một máy (cơ bản khác với việc phát triển công việc cục bộ (tức là local[*])) ?.Spark - Cách chạy một cụm độc lập cục bộ
Cho đến nay tôi đang chạy 2 máy ảo khác nhau để tạo cụm, nếu tôi có thể chạy một cụm độc lập trên cùng một máy, có ví dụ ba JVM khác nhau đang chạy?
Có thể có điều gì đó giống như có nhiều địa chỉ lặp lại thực hiện thủ thuật?
có bạn có thể làm điều đó, khởi động một bậc thầy và một người lao động nút và bạn tốt để đi
ra mắt chủ
./sbin/start-master.sh
công nhân ra mắt
./bin/spark-class org.apache.spark.deploy.worker.Worker spark://localhost:7077 -c 1 -m 512M
chạy SparkPi dụ
./bin/spark-submit --class org.apache.spark.examples.SparkPi --master spark://localhost:7077 lib/spark-examples-1.2.1-hadoop2.4.0.jar
Một cập nhật nhỏ như đối với phiên bản mới nhất (các 2.1.0), mặc định là để ràng buộc tổng thể để tên máy, vì vậy khi bắt đầu một công nhân tại địa phương sử dụng đầu ra của hostname:
./bin/spark-class org.apache.spark.deploy.worker.Worker spark://`hostname`:7077 -c 1 -m 512M
Và để chạy một ví dụ, chỉ cần chạy lệnh sau:
bin/run-example SparkPi
Cảm ơn, không còn nhận được: công nhân không thể kết nối với chủ –
Nếu bạn không thể tìm thấy tập tin ./sbin/start-master.sh trên máy tính của bạn, bạn có thể bắt đầu làm chủ một lso với
./bin/spark-class org.apache.spark.deploy.master.Master
Cảm ơn, nhưng nếu tôi cần 2 hoặc nhiều công nhân làm việc song song thì sao? Điều đó có thể thực hiện được không? – luke
@ luke bạn có thể chạy nhiều nhân viên bằng cách sử dụng lệnh khởi động công nhân trong các tab vỏ khác nhau – banjara
Cảm ơn bạn, tôi sẽ thử! :) – luke