Spark: chiến lược phân vùng lại sau khi đọc file văn bản

Question

tôi đã đưa ra cụm của tôi theo cách này:

/usr/lib/spark/bin/spark-submit --class MyClass --master yarn-cluster--num-executors 3 --driver-memory 10g --executor-memory 10g --executor-cores 4 /path/to/jar.jar 

Điều đầu tiên tôi làm là đọc một tập tin văn bản lớn, và đếm nó:

val file = sc.textFile("/path/to/file.txt.gz") 
println(file.count()) 

Khi làm điều này, tôi thấy rằng chỉ một trong các nút của tôi thực sự đang đọc tệp và thực thi đếm (vì tôi chỉ thấy một tác vụ). Điều đó có được mong đợi không? Tôi có nên phân vùng lại RDD của mình sau đó hay khi tôi sử dụng các chức năng giảm bản đồ, liệu Spark có làm điều đó cho tôi không?

Answer 1

Dường như bạn đang làm việc với tệp được nén.

Trích dẫn từ my answer here:

Tôi nghĩ rằng bạn đã trúng một vấn đề khá điển hình với các tập tin đã giải nén ở chỗ chúng không thể được nạp song song. Cụ thể hơn, một tệp gzip duy nhất không thể được nạp song song bởi nhiều tác vụ, vì vậy Spark sẽ tải nó với 1 tác vụ và do đó cung cấp cho bạn RDD với 1 phân vùng.

Bạn cần phân loại lại RDD một cách rõ ràng sau khi tải nó để nhiều tác vụ hơn có thể chạy song song.

Ví dụ:

val file = sc.textFile("/path/to/file.txt.gz").repartition(sc.defaultParallelism * 3) 
println(file.count()) 

Về ý kiến ​​về câu hỏi của bạn, lý do thiết minPartitions không giúp ở đây là vì a gzipped file is not splittable, vì vậy Spark sẽ luôn luôn sử dụng 1 công việc để đọc các tập tin.

Nếu bạn đặt minPartitions khi đọc tệp văn bản thông thường hoặc tệp nén với định dạng nén có thể chia nhỏ như bzip2, bạn sẽ thấy Spark thực sự triển khai số lượng tác vụ đó một cách song song (tối đa số lõi có sẵn) trong cụm của bạn) để đọc tệp.