Spark ClassNotFoundException chạy chương trình chính

Question

Tôi đã tải xuống và tạo Spark 0,80 bằng cách sử dụng sbt/sbt assembly. Nó đã thành công. Tuy nhiên khi chạy ./bin/start-master.sh lỗi sau đây được thấy trong file log

Spark Command: /System/Library/Java/JavaVirtualMachines/1.6.0.jdk/Contents/Home/bin/java -cp :/shared/spark-0.8.0-incubating-bin-hadoop1/conf:/shared/spark-0.8.0-incubating-bin-hadoop1/assembly/target/scala-2.9.3/spark-assembly-0.8.0-incubating-hadoop1.0.4.jar 
/shared/spark-0.8.0-incubating-bin-hadoop1/assembly/target/scala-2.9.3/spark-assembly_2.9.3-0.8.0-incubating-hadoop1.0.4.jar -Djava.library.path= -Xms512m -Xmx512m org.apache.spark.deploy.master.Master --ip mellyrn.local --port 7077 --webui-port 8080 

Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/spark/deploy/master/Master 
Caused by: java.lang.ClassNotFoundException: org.apache.spark.deploy.master.Master 
     at java.net.URLClassLoader$1.run(URLClassLoader.java:202) 
     at java.security.AccessController.doPrivileged(Native Method) 
     at java.net.URLClassLoader.findClass(URLClassLoader.java:190) 
     at java.lang.ClassLoader.loadClass(ClassLoader.java:306) 
     at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:301) 
     at java.lang.ClassLoader.loadClass(ClassLoader.java:247) 

Cập nhật: sau khi làm SBT sạch (mỗi gợi ý dưới đây) nó đang chạy: xem ảnh chụp màn hình.

Answer 1

Có thể có một số điều mà gây ra lỗi này mà không phải là đặc trưng cho Spark:

1. Bad xây dựng, sbt clean compile rằng con chó con một lần nữa.
2. Bạn có phụ thuộc được lưu trong bộ nhớ cache .ivy2 của bạn xung đột với sự phụ thuộc của phiên bản dự án Spark đó. Xóa bộ nhớ cache của bạn và thử lại.
3. Dự án của bạn đang xây dựng trên Spark có phiên bản thư viện xung đột với sự phụ thuộc của Spark. Tức là, Spark có thể phụ thuộc vào "foo-0.9.7" trong khi dự án của bạn được đặt trong "foo-0.8.4".

Hãy thử tìm những thứ đó trước.