Giới thiệu về việc chia nhỏ tệp Hadoop/HDFS

Question

Muốn xác nhận sau đây. Xin vui lòng xác minh nếu điều này là chính xác: 1. Theo hiểu biết của tôi khi chúng tôi sao chép tệp vào HDFS, đó là điểm khi tệp (giả định kích thước của nó> 64MB = kích thước khối HDFS) được chia thành nhiều phần và mỗi đoạn được lưu trữ trên các nút dữ liệu khác nhau.

1. Nội dung tệp đã được chia thành các đoạn khi tệp được sao chép vào HDFS và việc phân tách tệp đó không xảy ra tại thời điểm chạy công việc bản đồ. Nhiệm vụ bản đồ chỉ được lên lịch theo cách mà chúng hoạt động trên từng đoạn tối đa. kích thước 64 MB với vị trí dữ liệu (tức là tác vụ bản đồ chạy trên nút đó chứa dữ liệu/đoạn)

2. Chia nhỏ tệp cũng xảy ra nếu tệp được nén (gzipped) nhưng MR đảm bảo rằng mỗi tệp được xử lý bởi chỉ một trình ánh xạ , tức là MR sẽ thu thập tất cả các phần của tệp gzip nằm ở các nút dữ liệu khác và cung cấp tất cả chúng cho người lập bản đồ duy nhất.

3. Điều tương tự như trên sẽ xảy ra nếu chúng tôi xác định isSplitable() để trả về false, nghĩa là tất cả các phần của tệp sẽ được xử lý bởi một người lập bản đồ đang chạy trên một máy. MR sẽ đọc tất cả các phần của một tệp từ các nút dữ liệu khác nhau và cung cấp chúng cho một người lập bản đồ duy nhất.

Answer 1

Hiểu biết của bạn không lý tưởng. Tôi sẽ chỉ ra rằng có hai quy trình gần như độc lập: tách các tệp thành các khối HDFS và tách các tệp để xử lý bởi những người lập bản đồ khác nhau.
HDFS chia tệp thành các khối dựa trên kích thước khối được xác định.
Mỗi định dạng đầu vào có logic riêng của mình như thế nào các tệp có thể được chia thành một phần để xử lý độc lập bởi những người lập bản đồ khác nhau. Logic mặc định của FileInputFormat là chia tệp theo khối HDFS. Bạn có thể thực hiện bất kỳ logic nào khác
Nén, thường là kẻ thù của việc chia tách, vì vậy chúng tôi sử dụng kỹ thuật nén khối để cho phép tách dữ liệu được nén. Điều đó có nghĩa là mỗi phần logic của tệp (khối) được nén độc lập.

Answer 2

Có, nội dung tệp được chia thành các đoạn khi tệp được sao chép vào HDFS. Kích thước khối là cấu hình, và nếu nó là nói 128 MB, sau đó toàn bộ 128 MB sẽ là một khối, không phải 2 khối 64 MB riêng biệt. Ngoài ra nó không phải là cần thiết rằng mỗi đoạn của một tập tin được lưu trữ trên một datanode riêng biệt. datanode có thể có nhiều hơn một đoạn của một tập tin cụ thể. Và một đoạn cụ thể có thể có mặt trong nhiều hơn một datanodes dựa trên nhân tố nhân rộng.

Answer 3

Câu trả lời của David khá nhiều chạm vào móng trên đầu, tôi chỉ đang xây dựng nó ở đây.

Có hai khái niệm khác nhau tại nơi làm việc ở đây, mỗi khái niệm được xử lý bởi một thực thể khác nhau trong khuôn khổ hadoop

Thứ nhất -

1) Chia một file thành các khối - Khi một tập tin được viết thành HDFS, HDFS chia tập tin thành các khối và đảm nhận sao chép của nó. Điều này được thực hiện một lần (chủ yếu), và sau đó có sẵn cho tất cả các công việc MR đang chạy trên cụm.Đây là một dạng cấu hình cluster

Thứ hai -

2) Chia một file vào đầu vào tách - Khi con đường đầu vào được chuyển vào một công việc MR, công việc MR sử dụng đường dẫn cùng với các định dạng đầu vào được cấu hình để chia các tệp được chỉ định trong đường dẫn đầu vào thành các phần tách, mỗi phần được xử lý bởi một tác vụ bản đồ. Tính toán phân chia đầu vào được thực hiện theo định dạng đầu vào mỗi lần thực hiện một công việc

Bây giờ, khi chúng ta có điều này, chúng ta có thể hiểu rằng phương thức isSplitable() nằm trong danh mục thứ hai.

Để thực sự móng tay xuống này có một cái nhìn tại dòng ghi dữ liệu HDFS (Concept 1)

Điểm thứ hai trong biểu đồ có lẽ là nơi chia sẽ xảy ra, lưu ý rằng đây không có gì để làm gì với hoạt động của một MR Job

Bây giờ có một cái nhìn tại các bước thực hiện một công việc MR

Ở đây bước đầu tiên là tính toán phân chia đầu vào thông qua inputformat được cấu hình cho công việc.

Rất nhiều sự nhầm lẫn của bạn xuất phát từ thực tế là bạn đang kết hợp cả hai khái niệm này, tôi hy vọng điều này làm cho nó rõ ràng hơn một chút.