Tôi đang chạy 5 DAG đã tạo tổng cộng khoảng 6GB dữ liệu nhật ký trong base_log_folder trong khoảng thời gian một tháng. Tôi chỉ cần thêm một remote_base_log_folder nhưng có vẻ như nó không loại trừ đăng nhập vào base_log_folder.Xóa nhật ký tác vụ Luồng không khí
Có cách nào để tự động xóa các tệp nhật ký cũ, xoay chúng hoặc buộc luồng không khí không đăng nhập vào đĩa (base_log_folder) chỉ trong bộ nhớ từ xa?
Tôi không nghĩ rằng có một cơ chế luân chuyển nhưng bạn có thể lưu trữ chúng trong S3 hoặc google lưu trữ đám mây như mô tả ở đây: https://airflow.incubator.apache.org/configuration.html#logs
trì Airflow không nghĩ cắt bỏ các bản ghi là một phần của logic lõi luồng không khí , để xem this, và sau đó trong vấn đề này, người duy trì đề nghị thay đổi LOG_LEVEL tránh quá nhiều dữ liệu nhật ký.
Và trong this PR, chúng tôi có thể tìm hiểu cách thay đổi cấp độ nhật ký trong airflow.cfg.
chúc may mắn.
Vui lòng tham khảo https://github.com/teamclairvoyant/airflow-maintenance-dags
Plugin này có DAG có thể giết chết các nhiệm vụ chặn đứng và log-dọn dẹp. Bạn có thể lấy các khái niệm và có thể đưa ra một DAG mới có thể dọn dẹp theo yêu cầu của bạn.
Cảm ơn, tôi đang sử dụng tùy chọn ghi nhật ký từ xa với 'remote_base_log_folder' lưu trữ tệp nhật ký trên GCS. Thao tác này thêm nhật ký vào GCS nhưng không xóa chúng cục bộ. Tôi đoán tôi đã tự hỏi làm thế nào những người khác đang đối phó với số lượng lớn các tập tin đăng nhập làm đầy đĩa của họ trong sản xuất. – jompa