Tôi đã xây dựng Spark 1.4 từ thạc sĩ phát triển GH và quá trình xây dựng đã diễn ra tốt đẹp. Nhưng khi tôi làm bin/pyspark tôi nhận được phiên bản Python 2.7.9. Làm thế nào tôi có thể thay đổi điều này?Apache Spark: Cách sử dụng pyspark với Python 3
Hãy xem tệp. Dòng shebang có thể được trỏ đến nhị phân 'env' tìm kiếm đường dẫn cho tệp thực thi tương thích đầu tiên.
Bạn có thể thay đổi python thành python3. Thay đổi env để sử dụng trực tiếp mã hóa nhị phân python3. Hoặc thực thi nhị phân trực tiếp với python3 và bỏ qua dòng shebang.
Vâng, nhìn vào tập tin đã giúp. Cần thiết để đặt biến môi trường 'PYSPARK_PYTHON'. – tchakravarty
PYSPARK_PYTHON=python3 ./bin/pyspark
Nếu bạn muốn chạy trong trong IPython Máy tính xách tay, viết:
PYSPARK_PYTHON=python3 PYSPARK_DRIVER_PYTHON=ipython PYSPARK_DRIVER_PYTHON_OPTS="notebook" ./bin/pyspark
Nếu python3 không thể truy cập, bạn cần phải vượt qua đường dẫn đến nó để thay thế.
Hãy nhớ rằng current documentation (as of 1.4.1) có hướng dẫn cũ. May mắn thay, it has been patched.
Tôi nghĩ rằng lệnh của bạn cho Máy tính xách tay IPython là không chính xác. Nên như thế này: PYSPARK_PYTHON = python3 PYSPARK_DRIVER_PYTHON = ipython3 PYSPARK_DRIVER_PYTHON_OPTS = "sổ ghi chép" ./bin/pyspark – SpiderRico
@ChrisNielsen Trong terminal. –
@ChrisNielsen Trong Linux hoặc OS X là một thiết bị đầu cuối/bảng điều khiển. Tôi không có ý tưởng làm thế nào nó hoạt động dưới Windows (khi trong Windows, tôi sử dụng Spark chỉ trên một container Docker). –
Chỉ cần đặt biến môi trường:
export PYSPARK_PYTHON=python3
trong trường hợp bạn muốn đây là một sự thay đổi vĩnh viễn thêm dòng này vào pyspark kịch bản.
1, chỉnh sửa hồ sơ: vim ~/.profile
2, thêm mã vào file: export PYSPARK_PYTHON=python3
3, thực hiện lệnh: source ~/.profile
4, ./bin/pyspark
Đối với bất cứ ai tìm kiếm làm thế nào để làm điều này: 'PYSPARK_DRIVER_PYTHON = ipython3 PYSPARK_DRIVER_PYTHON_OPTS =" sổ ghi chép "./bin/pyspark', trong trường hợp nó chạy IPython 3 notebook. – tchakravarty