Tại sao PySpark không thể tìm thấy py4j.java_gateway?

Question

Tôi đã cài đặt Spark, chạy sbt assembly và có thể mở bin/pyspark mà không gặp vấn đề gì. Tuy nhiên, tôi đang gặp sự cố khi tải mô-đun pyspark vào ipython. Tôi nhận được lỗi sau:

In [1]: import pyspark 
--------------------------------------------------------------------------- 
ImportError        Traceback (most recent call last) 
<ipython-input-1-c15ae3402d12> in <module>() 
----> 1 import pyspark 

/usr/local/spark/python/pyspark/__init__.py in <module>() 
    61 
    62 from pyspark.conf import SparkConf 
---> 63 from pyspark.context import SparkContext 
    64 from pyspark.sql import SQLContext 
    65 from pyspark.rdd import RDD 

/usr/local/spark/python/pyspark/context.py in <module>() 
    28 from pyspark.conf import SparkConf 
    29 from pyspark.files import SparkFiles 
---> 30 from pyspark.java_gateway import launch_gateway 
    31 from pyspark.serializers import PickleSerializer, BatchedSerializer, UTF8Deserializer, \ 
    32  PairDeserializer, CompressedSerializer 

/usr/local/spark/python/pyspark/java_gateway.py in <module>() 
    24 from subprocess import Popen, PIPE 
    25 from threading import Thread 
---> 26 from py4j.java_gateway import java_import, JavaGateway, GatewayClient 
    27 
    28 

ImportError: No module named py4j.java_gateway 

Answer 1

Trong môi trường của tôi (sử dụng docker và chuỗi hình ảnh/spark: 1.1.0-ubuntu), tôi đã thực hiện việc này. Nếu bạn nhìn vào kịch bản pyspark vỏ, bạn sẽ thấy rằng bạn cần một vài điều bổ sung vào PYTHONPATH của bạn:

export PYTHONPATH=$SPARK_HOME/python/:$PYTHONPATH 
export PYTHONPATH=$SPARK_HOME/python/lib/py4j-0.8.2.1-src.zip:$PYTHONPATH 

Đó làm việc trong ipython cho tôi.

Cập nhật: như đã lưu ý trong nhận xét, tên của tệp zip py4j thay đổi với mỗi bản phát hành Spark, vì vậy, hãy nhìn xung quanh để biết tên đúng.

Answer 2

tôi giải quyết vấn đề này bằng cách thêm một số đường dẫn trong .bashrc

export SPARK_HOME=/home/a141890/apps/spark 
export PYTHONPATH=$SPARK_HOME/python/:$PYTHONPATH 
export PYTHONPATH=$SPARK_HOME/python/lib/py4j-0.8.2.1-src.zip:$PYTHONPATH 

Sau đó, nó không bao giờ nâng ImportError: Không có mô-đun tên py4j.java_gateway.

Answer 3

Trong Pycharm, trước khi chạy tập lệnh ở trên, hãy đảm bảo rằng bạn đã giải nén tệp py4j * .zip. và thêm tham chiếu của nó trong tập lệnh sys.path.append ("đường dẫn đến tia lửa */python/lib")

Nó làm việc cho tôi.

Answer 4

#/home/shubham/spark-1.6.2 
import os 
import sys 
# Set the path for spark installation 
# this is the path where you have built spark using sbt/sbt assembly 
os.environ['SPARK_HOME'] = "/home/shubham/spark-1.6.2" 
# os.environ['SPARK_HOME'] = "/home/jie/d2/spark-0.9.1" 
# Append to PYTHONPATH so that pyspark could be found 
sys.path.append("/home/shubham/spark-1.6.2/python") 
sys.path.append("/home/shubham/spark-1.6.2/python/lib") 
# sys.path.append("/home/jie/d2/spark-0.9.1/python") 
# Now we are ready to import Spark Modules 
try: 
    from pyspark import SparkContext 
    from pyspark import SparkConf`enter code here` 
    print "Hey nice" 
except ImportError as e: 
    print ("Error importing Spark Modules", e) 
sys.exit(1) 

Answer 5

Cài đặt mô-đun pip 'py4j'.

pip install py4j

Tôi có vấn đề này với Spark 2.1.1 và Python 2.7.x. Bạn không chắc chắn nếu Spark ngừng gói này trong các bản phân phối mới nhất. Nhưng cài đặt mô-đun py4j giải quyết được vấn đề cho tôi.