Sử dụng hạt nhân Spark trên Jupyter

Question

Vì vậy, tôi mới bắt đầu với Jupyter và ý tưởng về sổ ghi chép.

Tôi thường lập trình trong VIM và thiết bị đầu cuối vì vậy tôi vẫn đang cố gắng tìm ra điều gì đó.

Tôi đang cố gắng sử dụng hạt nhân Toree.

Tôi đang cố gắng cài đặt hạt nhân có khả năng thực thi tia lửa và đã gặp phải Toree. Tôi cài đặt toree và nó xuất hiện khi tôi chạy danh sách hạt nhân. Dưới đây là kết quả:

$ jupyter kernelspec list Available kernels: python3 C:\Users\UserName\AppData\Local\Continuum\Anaconda3\lib\site-packages\ipykernel\resources bash C:\Users\UserName\AppData\Roaming\jupyter\kernels\bash toree C:\ProgramData\jupyter\kernels\toree

---

Vì vậy, khi tôi mở một máy tính xách tay toree, hạt nhân sẽ chết và sẽ không khởi động lại. Đóng sổ ghi chép và mở lại nó sẽ dẫn đến việc thay đổi hạt nhân thành Python3.

Có một thông báo lỗi lớn được in tới đầu cuối máy chủ và thông báo lỗi sổ ghi chép. Có một bài đăng khác đã bị tạm giữ; chúng là những thông báo lỗi tương tự.

Tôi đi theo trang này để cài đặt: https://github.com/apache/incubator-toree

Những hướng dẫn này chủ yếu dành cho Linux/Mac là xuất hiện.

Bất kỳ suy nghĩ nào về cách nhận sổ ghi chú trên Jupyter?

Tôi hiểu không có nhiều thông tin ở đây, Nếu cần thêm. Cho tôi biết.

Answer 1

tôi đăng một câu hỏi tương tự như Gitter và họ trả lời nói (diễn giải) rằng:

Toree là tương lai của lập trình spark trên Jupyter và sẽ xuất hiện đã được cài đặt đúng trên một máy cửa sổ nhưng .jar và. sh tập tin sẽ không hoạt động chính xác trên các cửa sổ máy.

Biết điều này, tôi đã thử trên Linux (Fedora) và máy Mac được mượn. Khi jupyter được cài đặt (và Anaconda), tôi đã nhập các lệnh sau:

$ SparkHome="~/spark/spark1.5.5-bin.hadoop2.6" 
$ sudo pip install toree 
Password: ********** 
$ sudo jupyter toree install --spark_home=$SparkHome 

Jupyter chạy sổ ghi chép trên cả hai máy. Tôi đoán rằng một máy ảo có thể hoạt động tốt. Tôi muốn xem vỏ 10 bash của Cửa sổ cũng sẽ hoạt động với điều này khi tôi đang chạy các cửa sổ 7.

Cảm ơn các Tài liệu khác!

Answer 2

Câu trả lời từ @ user3025281 cũng giải quyết vấn đề cho tôi. Tôi đã phải thực hiện các điều chỉnh sau cho môi trường của tôi (một bản phát hành Linux 16.04 Ubuntu chạy Spark 2.2.0 và Hadoop 2.7). Tải xuống là các tệp tải xuống trực tiếp từ các trang web lưu trữ hoặc trang web phản chiếu.

Bạn sẽ chủ yếu là cấu hình biến môi trường của bạn sau đó gọi jupyter, giả sử nó được cài đặt thông qua anaconda. đó là khá nhiều nó

SPARK_HOME="~/spark/spark-2.2.0-bin-hadoop2.7" 

Viết mã này vào số ~/.bashrc của bạn và sau đó gọi nguồn trên `.bashrc

# reload environment variables 
source ~/.bashrc` 

Install

sudo pip install toree 
sudo jupyter toree install --spark_home=$SPARK_HOME 

Và bây giờ .... chúng Gucci

Tùy chọn: Trên Windows 10, bạn có thể sử dụng "Bash trên Ubuntu trên Windows" cho cấu hình jupyter trên bản phân phối linux