Thư mục Spark lặp lại HDFS

Question

Tôi có một thư mục gồm các thư mục trên HDFS và tôi muốn lặp qua các thư mục. Có cách nào dễ dàng để làm điều này với Spark bằng cách sử dụng đối tượng SparkContext không?

Answer 1

Bạn có thể sử dụng org.apache.hadoop.fs.FileSystem. Cụ thể, FileSystem.listFiles([path], true)

Và với Spark ...

FileSystem.get(sc.hadoopConfiguration()).listFiles(..., true) 

Answer 2

import org.apache.hadoop.fs.{FileSystem,Path} 

FileSystem.get(sc.hadoopConfiguration).listStatus(new Path("hdfs:///tmp")).foreach(x => println(x.getPath)) 

này đã làm việc cho tôi.

Spark phiên bản 1.5.0-cdh5.5.2

Answer 3

Bạn có thể thử với tình trạng globStatus cũng

val listStatus = org.apache.hadoop.fs.FileSystem.get(new URI(url), sc.hadoopConfiguration).globStatus(new org.apache.hadoop.fs.Path(url)) 

     for (urlStatus <- listStatus) { 
     println("urlStatus get Path:"+urlStatus.getPath()) 
} 

Answer 4

Dưới đây là phiên bản PySpark nếu ai đó đang quan tâm:

hadoop = sc._jvm.org.apache.hadoop 

fs = hadoop.fs.FileSystem 
conf = hadoop.conf.Configuration() 
path = hadoop.fs.Path('/hivewarehouse/disc_mrt.db/unified_fact/') 

for f in fs.get(conf).listStatus(path): 
    print f.getPath() 

Đặc biệt này trường hợp tôi nhận được danh sách của tất cả các tập tin tạo nên disc_mrt.unified_fact bảng Hive.

Các phương pháp khác của đối tượng FileStatus, như getLen() để có được kích thước tập tin được mô tả ở đây:

Class FileStatus