GlusterFS là phụ trợ cho Hadoop

Question

Tôi đã thấy redhat đã đưa ra một giải pháp có thể có với GlusterFS làm việc như là phụ trợ cho hadoop. Trong trường hợp này, bạn có thể sử dụng kiến ​​trúc nút tên/datanode và thay thế nó bằng glusterfs, trong khi đó bạn vẫn có Hadoop Mapreduce khả năng tương thích api.

Chỉ cần tự hỏi so sánh hiệu suất so với HDFS gốc như thế nào? Nó thực sự là sản xuất đã sẵn sàng chưa? Nó có hỗ trợ tất cả các hệ sinh thái hadoop không? ví dụ. Solr Cloud, Spark, Impala, v.v.

Answer 1

tuyên bố từ chối trách nhiệm: Tôi làm việc cho nhà cung cấp bộ nhớ. Vâng. Tôi không biết nhiều về GlusterFS nói riêng nhưng tôi có thể nói về Lustre vì nó là POSIX vào cuối ngày. Đó là hệ thống tập tin song song, nhưng các tiêu chuẩn tôi nhìn vào gần đây cho thấy nó hoạt động tốt hơn HDFS. nhưng đó chắc chắn là giải pháp thay thế sản xuất đã cung cấp một không gian tên duy nhất cho dữ liệu của bạn (không cần nhập HDFS nữa)

Điều gì làm việc từ hệ sinh thái Hadoop ngày nay? những gì tôi đã thấy trong quá trình sản xuất hôm nay là Spark, Hive, Hbase. Imapala nhìn vào tôi nó đòi hỏi một số phần của HDFS, đây là lý do tại sao nó không hoạt động với POSIX FS và nó không phải là HCFS. Tôi đã làm một bài kiểm tra nhanh và tôi đã có thể tạo cơ sở dữ liệu và mọi thứ, nhưng tôi không thể tìm nạp bất kỳ hàng nào.

Hãy để tôi nếu bạn cần trợ giúp thêm.