thư mục/tmp trong hdoop hadoop là gì?

Question

Tôi có cụm 4 datanodes và HDFS cấu trúc trên mỗi nút như sau

Tôi đang phải đối mặt với vấn đề không gian đĩa, như bạn sẽ nhìn thấy /tmp thư mục từ HDFS đã chiếm nhiều không gian hơn (217GB). Vì vậy, tôi đã cố gắng điều tra dữ liệu từ thư mục /tmp. Tôi tìm thấy các tập tin tạm thời sau. Tôi truy cập các thư mục tạm thời này, mỗi thư mục chứa một số tệp có kích thước từ 10 gb đến 20 gb. Tôi muốn xóa thư mục/tmp này. bất cứ ai có thể xin vui lòng cho tôi biết hậu quả của việc xóa các thư mục tmp hoặc một phần tập tin. Nó có ảnh hưởng đến cụm của tôi không?

Answer 1

HDFS/thư mục tmp chủ yếu được sử dụng như một lưu trữ tạm thời trong quá trình hoạt MapReduce. Các tạo tác Mapreduce, dữ liệu trung gian, v.v ... sẽ được lưu giữ trong thư mục này. Các tệp này sẽ tự động bị xóa khi thực thi lệnh mapreduce hoàn thành. Nếu bạn xóa các tệp tạm thời này, nó có thể ảnh hưởng đến các công việc đang tạo mapreduce đang chạy.

Tệp tạm thời được tạo bởi lợn. Xóa tệp tạm thời xảy ra ở cuối. Lợn không xử lý các tệp tạm thời nếu việc thực thi tập lệnh bị lỗi hoặc bị xóa. Sau đó, bạn phải xử lý tình huống này. Bạn xử lý tốt hơn các tệp tạm thời này làm sạch hoạt động trong tập lệnh.

bài viết sau đây sẽ cho bạn một sự hiểu biết tốt

http://www.lopakalogic.com/articles/hadoop-articles/pig-keeps-temp-files/