cách xóa nhật ký hadoop-hdfs trong/var/log/hadoop-hdfs

Question

nút tên của tôi trong cụm Hadoop chuyển thành trạng thái xấu vì "Thư mục nhật ký của vai trò không phải là hệ thống tệp có ít hơn 4GB không gian trống ./var/log/hadoop-hdfs (miễn phí: 2,4 GB (11,12%), dung lượng: 21,7 GB "

Tôi đã xem thư mục đó và thấy rằng tôi có 5.5GB tệp nhật ký được gọi là" hdfs-audit.log .0 "-" hdfs-audit.log.20 "trong đó. Tôi đọc những tập tin này và tôi thực sự không cần phải lưu các bản ghi này. Tôi tự hỏi là có một cách để xóa vĩnh viễn chúng và không bao giờ tạo lại chúng? (Tôi đã cố gắng xóa chúng theo cách thủ công, nhưng có vẻ như chúng đã trở lại sau một vài giờ.)

Tôi cũng đã cố thêm "log4j.logger.org.ap ache.hadoop.hdfs.server.namenode.FSNamesystem.audit = WARN, NullAppender "trong /etc/hadoop/conf/log4j.properties của tôi. Nhưng nó đã không ngăn cản những tập tin đó từ "trở lại".

Cảm ơn sự giúp đỡ của bạn trước!

Answer 1

Trước hết, Hadoop được thiết kế cho dung lượng lớn hơn nhiều so với những gì bạn đề cập, có nghĩa là các bản ghi 5,5 GB không phải là thường xuyên. Điều này giải thích tại sao cài đặt mặc định không phù hợp trong trường hợp của bạn.

Bạn có thể:

• giảm số lượng các file bản ghi được giữ lại với biến navigator.audit_log_max_backup_index (thường là 10)
• hoặc các log file tối đa kích thước với navigator.audit_log_max_file_size