Làm thế nào để xây dựng Spark từ các nguồn từ trang Tải xuống Spark?

Question

Tôi cố gắng để cài đặt và xây dựng Spark 2.0.0 trên Ubuntu VM với Ubuntu 16.04 như sau:

1. Cài đặt Java

   sudo apt-add-repository ppa:webupd8team/java 
   sudo apt-get update  
   sudo apt-get install oracle-java8-installer 
   

2. Install Scala

   Đến tab Downloads của họ trên trang web của họ: scala-lang.org/download/all.html

   Tôi đã sử dụng Scala 2.11.8.

   sudo mkdir /usr/local/src/scala 
   sudo tar -xvf scala-2.11.8.tgz -C /usr/local/src/scala/ 
   

   Sửa đổi các tập tin .bashrc và bao gồm đường dẫn cho scala:

   export SCALA_HOME=/usr/local/src/scala/scala-2.11.8 
   export PATH=$SCALA_HOME/bin:$PATH 
   

   sau đó gõ:

   . .bashrc 
   

3. Cài đặt git

   sudo apt-get install git 
   

4. T.về OAD và xây dựng spark

   Go to: http://spark.apache.org/downloads.html

   Tải Spark 2.0.0 (Build từ Source - cho chế độ độc lập).

   tar -xvf spark-2.0.0.tgz 
   cd into the Spark folder (that has been extracted). 
   

   nay gõ:

   ./build/sbt assembly 
   

   Sau khi nó hoàn tất cài đặt, tôi nhận được thông báo:

   [success] Total time: 1940 s, completed...

   tiếp theo ngày và thời gian ...

5. Run Spark vỏ

   bin/spark-shell 
   

Đó là khi tất cả địa ngục bị hỏng và tôi bắt đầu gặp lỗi. Tôi đi vào thư mục lắp ráp để tìm một thư mục có tên là target. Nhưng không có thư mục nào ở đó. Những thứ duy nhất có thể nhìn thấy trong assembly là: pom.xml, README và src.

Tôi đã tra cứu nó trực tuyến trong một thời gian và tôi không thể tìm thấy một giải pháp cụ thể nào có thể giúp giải quyết lỗi. Ai đó có thể vui lòng cung cấp hướng dẫn từng bước rõ ràng về cách giải quyết vấn đề này không?!? Đó là lái xe cho tôi hạt bây giờ ... (TT)

Ảnh chụp màn hình của lỗi:

Answer 1

Đối với một số lý do, Scala 2.11.8 không hoạt động tốt trong khi xây dựng nhưng nếu tôi chuyển sang Scala 2.10.6 sau đó nó xây dựng đúng cách. Tôi đoán lý do tôi sẽ cần Scala ở nơi đầu tiên là để có được quyền truy cập vào sbt để có thể xây dựng tia lửa.Khi xây dựng của nó, tôi cần phải chỉ đạo bản thân mình vào thư mục tia lửa và gõ:

build/sbt package 

này sẽ xây dựng các tập tin JAR thiếu đối với tôi sử dụng Scala 2.11 ... kinda lạ nhưng đó là cách làm việc của nó (Tôi giả định bởi xem nhật ký).

Khi tia lửa tạo lại, hãy nhập: bin/spark-shell (trong khi đang ở trong thư mục spark) và bạn sẽ có quyền truy cập vào vỏ tia lửa.

Answer 2

nhập gói sbt trong thư mục spark không có trong thư mục xây dựng.

Answer 3

Nếu mục tiêu của bạn là thực sự để xây dựng gói Spark tùy chỉnh của bạn từ các nguồn mà bạn đã tải xuống từ http://spark.apache.org/downloads.html, bạn nên làm như sau thay vì:

./build/mvn -Phadoop-2.7,yarn,mesos,hive,hive-thriftserver -DskipTests clean install 

Bạn có thể muốn đọc các tài liệu chính thức Building Spark .

NB Bạn không phải cài đặt gói Scala và git để xây dựng Spark để bạn có thể bỏ qua bước "Cài đặt Scala" và "3. Cài đặt git".