Làm cách nào để chạy graphx với Python/pyspark?

Question

Tôi đang cố chạy Spark graphx bằng Python sử dụng pyspark. Cài đặt của tôi xuất hiện chính xác, vì tôi có thể chạy các hướng dẫn pyspark và hướng dẫn GraphX ​​(Java) tốt. Có lẽ kể từ khi GraphX ​​là một phần của Spark, pyspark có thể giao tiếp được, đúng không?

Dưới đây là các hướng dẫn cho pyspark: http://spark.apache.org/docs/0.9.0/quick-start.html http://spark.apache.org/docs/0.9.0/python-programming-guide.html

Dưới đây là những người cho GraphX: http://spark.apache.org/docs/0.9.0/graphx-programming-guide.html http://ampcamp.berkeley.edu/big-data-mini-course/graph-analytics-with-graphx.html

bất cứ ai có thể chuyển đổi các hướng dẫn GraphX ​​được bằng Python?

Answer 1

Dường như các ràng buộc python vào GraphX ​​bị trễ ít nhất là Spark 1.4 1.5 ∞. Nó đang đợi phía sau API Java.

Bạn có thể theo dõi trạng thái ở SPARK-3789 GRAPHX Python bindings for GraphX - ASF JIRA

Answer 2

GraphX ​​0.9.0 chưa có API python. Dự kiến ​​trong các bản phát hành sắp tới.

Answer 3

Bạn nên nhìn vào GraphFrames (https://github.com/graphframes/graphframes), mà kết thúc tốt đẹp các thuật toán GraphX ​​dưới DataFrames API và nó cung cấp giao diện Python.

Dưới đây là một ví dụ nhanh từ http://graphframes.github.io/quick-start.html, với sửa đổi chút ít để nó hoạt động

đầu tiên pyspark bắt đầu với pkg graphframes nạp

pyspark --packages graphframes:graphframes:0.1.0-spark1.6

mã python:

from graphframes import * 

# Create a Vertex DataFrame with unique ID column "id" 
v = sqlContext.createDataFrame([ 
    ("a", "Alice", 34), 
    ("b", "Bob", 36), 
    ("c", "Charlie", 30), 
], ["id", "name", "age"]) 

# Create an Edge DataFrame with "src" and "dst" columns 
e = sqlContext.createDataFrame([ 
    ("a", "b", "friend"), 
    ("b", "c", "follow"), 
    ("c", "b", "follow"), 
], ["src", "dst", "relationship"]) 
# Create a GraphFrame 
g = GraphFrame(v, e) 

# Query: Get in-degree of each vertex. 
g.inDegrees.show() 

# Query: Count the number of "follow" connections in the graph. 
g.edges.filter("relationship = 'follow'").count() 

# Run PageRank algorithm, and show results. 
results = g.pageRank(resetProbability=0.01, maxIter=20) 
results.vertices.select("id", "pagerank").show()