Dữ liệu được ghi bằng HDFS như thế nào?

Question

Tôi đang cố gắng hiểu cách viết dữ liệu được quản lý trong HDFS bằng cách đọc hadoop-2.4.1 documentation.

Theo sơ đồ sau:

bất cứ khi nào một khách hàng viết một cái gì đó để HDFS, ông không có tiếp xúc với namenode và chịu trách nhiệm về chunking và nhân rộng. Tôi giả định rằng trong trường hợp này, máy khách là một máy chạy vỏ HDFS (hoặc tương đương).

Tuy nhiên, tôi không hiểu cách quản lý này. Thật vậy, theo cùng một tài liệu:

DataNodes cũng thực hiện tạo, xóa và nhân bản khi được hướng dẫn từ NameNode.

Sơ đồ được trình bày ở trên có đúng không? Nếu vậy,

• là tên nút chỉ được thông báo về tệp mới khi nhận được Blockreport (có thể mất thời gian, tôi giả sử)?

• tại sao khách hàng ghi vào nhiều nút?

  Nếu lược đồ này không đúng, cách tạo tệp hoạt động với HDF?

Answer 1

Như bạn đã nói, DataNodes chịu trách nhiệm phân phối yêu cầu đọc/ghi và tạo/xóa/nhân bản khối.

Sau đó, họ gửi một cách thường xuyên “Heartbeats” (tình trạng báo cáo y tế) và “BlockReport” (danh sách các khối trên DataNode) đến NameNode.

Theo this article:

liệu Nodes gửi heartbeat với Tên Node mỗi 3 giây qua một cái bắt tay TCP ... Mỗi nhịp tim thứ mười là một Báo cáo Khối, nơi dữ liệu Nút cho biết tên nút về tất cả các khối nó có.

Vì vậy, báo cáo khối được thực hiện cứ 30 giây một lần, tôi không nghĩ rằng điều này có thể ảnh hưởng đến công việc Hadoop vì nói chung họ là những công việc độc lập.

Đối với câu hỏi của bạn:

tại sao khách hàng ghi vào nhiều nút?

tôi sẽ nói rằng trên thực tế, khách hàng ghi vào chỉ là một datanode và nói với anh ấy để gửi dữ liệu đến datanodes khác (thấy link ảnh này: KHÁCH HÀNG BẮT ĐẦU VIẾT DỮ LIỆU), nhưng điều này là minh bạch. Đó là lý do tại sao lược đồ của bạn xem xét rằng máy khách là người ghi nhiều nút