Sử dụng Apache Spark với HDFS vs phân phối lưu trữ khác

Question

On FAQ của Spark nó cụ thể nói ta không phải sử dụng HDFS:

Tôi có cần Hadoop chạy Spark?

Không, nhưng nếu bạn chạy trên một cụm, bạn sẽ cần một số dạng hệ thống tệp được chia sẻ (ví dụ, NFS được gắn ở cùng một đường dẫn trên mỗi nút). Nếu bạn có loại hệ thống tệp này, bạn có thể triển khai Spark ở chế độ độc lập.

Vì vậy, ưu điểm/nhược điểm của việc sử dụng Apache Spark với HDFS so với các hệ thống tệp được phân phối khác (chẳng hạn như NFS) nếu tôi không định sử dụng Hadoop MapReduce? Tôi sẽ thiếu một tính năng quan trọng nếu tôi sử dụng NFS thay vì HDFS cho lưu trữ các nút (cho trạm kiểm soát, shuffle tràn, vv)?

Answer 1

Sau một vài tháng và một số kinh nghiệm với cả NFS và HDFS, tôi bây giờ có thể trả lời câu hỏi của riêng tôi:

NFS phép để xem/thay đổi các tập tin trên một máy từ xa như thể họ đang lưu trữ một máy tính cục bộ . HDFS cũng có thể làm điều đó, nhưng nó được phân phối (trái ngược với NFS) và cũng có khả năng chịu lỗi và có khả năng mở rộng.

Lợi thế của việc sử dụng NFS là sự đơn giản của thiết lập, vì vậy tôi có thể sử dụng nó cho môi trường QA hoặc cụm nhỏ. Lợi thế của HDFS là khả năng chịu lỗi nhưng lợi thế lớn hơn, IMHO, là khả năng tận dụng địa phương khi HDFS được đặt cùng với các nút Spark cung cấp hiệu suất tốt nhất cho các trạm kiểm soát, đổ tràn, v.v.