Tôi có một máy ảo có Spark 1.3 trên đó nhưng tôi muốn nâng cấp nó lên Spark 1.5 chủ yếu do một số chức năng được hỗ trợ không nằm trong 1.3. Có thể tôi có thể nâng cấp phiên bản Spark từ 1.3 đến 1.5 và nếu có thì làm thế nào tôi có thể làm điều đó?Làm thế nào để nâng cấp Spark lên phiên bản mới hơn?
Bản phân phối Spark được xây dựng sẵn, giống như tôi tin rằng bạn đang sử dụng dựa trên another question of yours, khá đơn giản để "nâng cấp", vì Spark không thực sự được "cài đặt". Trên thực tế, tất cả các bạn phải làm là:
spark-1.3.1-bin-hadoop2.6 đã là)SPARK_HOME (và có thể một số biến môi trường khác của bạn tùy thuộc vào thiết lập của bạn) phù hợpđây là những gì tôi chỉ làm bản thân mình, để đi từ 1.3.1 đến 1.5.2, trong một khung cảnh tương tự như của bạn (lang thang VM chạy Ubuntu):
1) Tải file tar trong thư mục thích hợp
[email protected]:~$ cd $SPARK_HOME
[email protected]:/usr/local/bin/spark-1.3.1-bin-hadoop2.6$ cd ..
[email protected]:/usr/local/bin$ ls
ipcluster ipcontroller2 iptest ipython2 spark-1.3.1-bin-hadoop2.6
ipcluster2 ipengine iptest2 jsonschema
ipcontroller ipengine2 ipython pygmentize
[email protected]:/usr/local/bin$ sudo wget http://apache.tsl.gr/spark/spark-1.5.2/spark-1.5.2-bin-hadoop2.6.tgz
[...]
[email protected]:/usr/local/bin$ ls
ipcluster ipcontroller2 iptest ipython2 spark-1.3.1-bin-hadoop2.6
ipcluster2 ipengine iptest2 jsonschema spark-1.5.2-bin-hadoop2.6.tgz
ipcontroller ipengine2 ipython pygmentize
ý rằng gương chính xác mà bạn nên sử dụng với wget sẽ được có lẽ khác với tôi, tùy thuộc vào vị trí của bạn; bạn sẽ nhận được điều này bằng cách nhấp vào liên kết "Tải xuống Spark" trong download page, sau khi bạn đã chọn loại gói để tải xuống.
2) Giải nén file tgz với
[email protected]:/usr/local/bin$ sudo tar -xzf spark-1.*.tgz
[email protected]:/usr/local/bin$ ls
ipcluster ipcontroller2 iptest ipython2 spark-1.3.1-bin-hadoop2.6
ipcluster2 ipengine iptest2 jsonschema spark-1.5.2-bin-hadoop2.6
ipcontroller ipengine2 ipython pygmentize spark-1.5.2-bin-hadoop2.6.tgz
Bạn có thể thấy rằng bây giờ bạn có một thư mục mới, spark-1.5.2-bin-hadoop2.6.
3) Cập nhật tương ứng SPARK_HOME (và có thể là các biến môi trường khác bạn đang sử dụng) để trỏ tới thư mục mới này thay vì thư mục trước đó.
Và bạn nên làm, sau khi khởi động lại máy.
Chú ý rằng:
sudo là cần thiết trong trường hợp của tôi; nó có thể không cần thiết cho bạn tùy thuộc vào cài đặt của bạn.tgz đã tải xuống.tgz trước đó đã bị xóa hoặc sửa đổi lệnh tar ở trên để trỏ đến tệp cụ thể (nghĩa là không có * ký tự đại diện như trên).SPARK_HOME-/opt/sparkspark-2.2.1-bin-hadoop2.7.tgz - có thể sử dụng wgetln -s /opt/spark-2.2.1 /opt/spark̀Đối với mỗi phiên bản mới bạn tải xuống, chỉ cần tạo t ông liên kết mềm với nó (bước 3)
ln -s /opt/spark-x.x.x /opt/spark̀
Nhưng tôi không thể lưu công việc đang chạy hiện tại, giống như một Hadoop cán Nâng cấp, phải không? – ribamar