Nhật ký thực thi Spark trên YARN

Question

Tôi đang khởi chạy ứng dụng Spark được phân phối trong chế độ máy khách YARN, trên cụm Cloudera. Sau một thời gian tôi thấy một số lỗi trên Cloudera Manager. Một số người thực thi bị ngắt kết nối và điều này xảy ra một cách có hệ thống. Tôi muốn gỡ lỗi vấn đề nhưng ngoại lệ nội bộ không được báo cáo bởi YARN.

Exception from container-launch with container ID: container_1417503665765_0193_01_000003 and exit code: 1 
ExitCodeException exitCode=1: 
    at org.apache.hadoop.util.Shell.runCommand(Shell.java:538) 
    at org.apache.hadoop.util.Shell.run(Shell.java:455) 
    at org.apache.hadoop.util.Shell$ShellCommandExecutor.execute(Shell.java:702) 
    at org.apache.hadoop.yarn.server.nodemanager.DefaultContainerExecutor.launchContainer(DefaultContainerExecutor.java:196) 
    at org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch.java:299) 
    at org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch.java:81) 
    at java.util.concurrent.FutureTask.run(FutureTask.java:262) 
    at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145) 
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615) 
    at java.lang.Thread.run(Thread.java:745) 

Tôi làm cách nào để xem stacktrace của ngoại lệ? Dường như YARN chỉ báo cáo rằng ứng dụng đã thoát bất thường. Có cách nào để xem nhật ký người thực hiện tia lửa trong cấu hình YARN không?

Answer 1

Kiểm tra thuộc tính của NodeManager yarn.nodemanager.log-dir. Đó là vị trí nhật ký khi vùng chứa thực thi Spark đang chạy.

Lưu ý rằng khi ứng dụng kết thúc NodeManager có thể xóa các tệp (Tổng hợp nhật ký). Kiểm tra tài liệu này để biết chi tiết. http://hortonworks.com/blog/simplifying-user-logs-management-and-access-in-yarn/