Không thể khởi động Apache Spark trên Windows bằng Cygwin

Question

Tôi xin lỗi nếu điều này là quá nhỏ nhưng tôi rất mới với Spark. Tôi đã xây dựng Apache Spark trên Windows từ mã sử dụng Maven. Tôi đã sử dụng Cygwin để xây dựng và nó hoạt động tốt. Bây giờ tôi không thể khởi động nó bằng lệnh (./start-master.sh) từ thư mục sbin.

tôi nhận được báo lỗi dưới đây: thất bại trong việc khởi động org.apache.spark.deploy.master.Master:

Error: Could not find or load main class org.apache.spark.launcher.Main 
full log in /cygdrive/c/Spark/spark-1.5.1/sbin/../logs/spark-auser-org.apache.spark.deploy.master.Master-1.host 

Tôi hiểu nó đang tìm kiếm các tia launcher_2.10-1.5.1. jar trong classpath nhưng tôi không thể xác định trong các kịch bản mà nó định nghĩa classpath hoặc thư mục lib.

Answer 1

Bạn có thể làm theo các Building a Runnable Distribution bước như Gimby đề cập, như thế này ví dụ:

./make-distribution.sh --name custom-spark --tgz -Psparkr -Phadoop-2.4 -Phive -Phive-thriftserver -Pyarn 

---

Như Patrick McGloin đề cập, bạn cũng có thể bắt đầu một Cluster Spark trên Windows chính nó, như thế này chẳng hạn:

spark-class.cmd org.apache.spark.deploy.master.Master 
spark-class.cmd org.apache.spark.deploy.worker.Worker spark://localhost:7077 

Bạn có thể đọc thêm ở Spark Standalone Mode và How to set up Spark cluster on Windows machines?

---

Cuối cùng như OP đã đề cập, (s) ông đã có thể xây dựng một bản phân phối runnable tạo ra một tập tin tar tùy chỉnh mới trong thư mục mẹ. (S) ông đã lấy tập tin này, untarred nó trong một thư mục khác nhau, đi đến thư mục con bin và sau đó đã có thể đưa lên các scala-shell.