log4j.properties Bỏ qua khi chạy kiểm tra sbt

Question

Tôi đang làm việc trên ứng dụng Spark trong Scala, sử dụng SBT cho các bản dựng của nó. Spark tạo ra quá trình ghi nhật ký rất chi tiết mà tôi muốn bỏ qua khi kiểm tra đang chạy.

Tôi có một file log4j.properties được thành lập theo src/kiểm tra/nguồn lực, cũng như src/main/tài nguyên với các nội dung sau đây:

# Set everything to be logged to the console 
log4j.rootCategory=INFO, console 
log4j.appender.console=org.apache.log4j.ConsoleAppender 
log4j.appender.console.layout=org.apache.log4j.PatternLayout 
log4j.appender.console.layout.ConversionPattern=%d{yy/MM/dd HH:mm:ss} %p %c{10}: %m%n 

# Settings to quiet third party logs that are too verbose 
log4j.logger.akka=ERROR 
log4j.logger.Remoting=ERROR 
log4j.logger.org.apache.spark=ERROR 
log4j.logger.org.eclipse.jetty=ERROR 

Khi chạy các ứng dụng với sbt test hoặc chạy một đầy đủ ứng dụng, nó chạy chính xác nhưng vẫn ghi nhật ký tất cả các báo cáo mức INFO có liên quan đến Spark

Có điều gì tôi thiếu trong cấu hình tệp hay không, hoặc tôi cần nói rõ ràng sbt để tải log4j.properties? Tôi có nên thử một cách tiếp cận mới với nhau không?

Tôi cũng bị giới hạn ở chỗ ứng dụng cần có khả năng chạy trên môi trường CI của chúng tôi và các máy tính người dùng khác có cài đặt ghi nhật ký được áp dụng. Điều này có nghĩa là các thiết lập cần phải được bao gồm và được nhận diện từ repo git của ứng dụng.

Answer 1

Vui lòng sao chép log4j.properties của bạn vào thư mục $SPARK_HOME/conf. Đó là cái được sử dụng bởi cài đặt tia lửa