Spark Graphx có hình dung như Gephi

Question

Xin chào Tôi là người mới đến với thế giới đồ thị. Tôi đã được chỉ định làm việc về xử lý đồ thị bây giờ tôi biết Apache Spark nên nghĩ đến việc sử dụng nó Graphx để xử lý đồ thị lớn. Sau đó, tôi đi qua Gephi cung cấp giao diện đẹp để thao tác đồ thị. Graphx có các công cụ như vậy hay nó chủ yếu là thư viện xử lý đồ thị song song. Tôi có thể nhập dữ liệu biểu đồ json đến từ Gephi vào graphx không? Xin vui lòng hướng dẫn. Tôi biết Đó là câu hỏi cơ bản nhưng hợp lệ. Cảm ơn trước.

Answer 1

Thêm vào đó bạn cũng có thể thử Graphlab https://dato.com/products/create/open_source.html

Nó hỗ trợ trực tiếp Spark RDD https://dato.com/learn/userguide/data_formats_and_sources/spark_integration.html

Không có nhiều công việc cần thiết sau đó

from pyspark import SparkContext 
import graphlab as gl 

sc = SparkContext('yarn-client') 

t = sc.textFile("hdfs://some/large/file") 
sf = gl.SFrame.from_rdd(t) 

# do stuff... 

out_rdd = sf.to_rdd(sc) 

Answer 2

Nếu bạn chưa quen với đồ thị trên thế giới, bạn có thể sử dụng Apache Zeppelin cho Spark, nhưng Apache Zeppelin là dự án lồng ấp.

Answer 3

Không, Apache Spark Graphx không có trực quan, nó chỉ là một công cụ xử lý nhưng bạn có thể nhập dữ liệu từ gephi vào graphx bằng API của Gephi.