Bản ghi Spark trên EMR ở đâu?

Question

Tôi không thể tìm thấy nhật ký lỗi hoặc tin nhắn từ các cuộc gọi println trong Scala khi đang thực hiện công việc trên Spark trong EMR.

Tôi có thể truy cập những thông tin này ở đâu?

Tôi nộp Spark job, viết bằng Scala để EMR sử dụng script-runner.jar với đối số --deploy-mode thiết lập để cluster và --master thiết lập để yarn. Nó hoạt động tốt.

Tuy nhiên tôi không thấy println phát biểu của tôi trong Amazon EMR UI Nơi nó liệt kê "stderr, stdout etc. Furthermore if my job errors I don't see why it had an error. All I see is this in the stderr`:

15/05/27 20:24:44 INFO yarn.Client: Application report from ResourceManager: 
application identifier: application_1432754139536_0002 
appId: 2 
clientToAMToken: null 
appDiagnostics: 
appMasterHost: ip-10-185-87-217.ec2.internal 
appQueue: default 
appMasterRpcPort: 0 
appStartTime: 1432758272973 
yarnAppState: FINISHED 
distributedFinalState: FAILED 
appTrackingUrl: http://10.150.67.62:9046/proxy/application_1432754139536_0002/A 
appUser: hadoop 

'

Answer 1

Với chế độ triển khai cụm trên sợi trình điều khiển Spark và do đó mã người dùng được thực hiện sẽ nằm trong vùng chứa Ứng dụng chính. Có vẻ như bạn đã bật chức năng gỡ lỗi EMR trên cụm sao cho các bản ghi cũng phải được đẩy lên S3. Trong vị trí S3, hãy xem task-attempts/<applicationid>/<firstcontainer>/*.

Answer 2

Nếu bạn gửi công việc của bạn với emr-bootstrap bạn có thể chỉ định các bản ghi thư mục dưới dạng xô s3 với --log-uri

Answer 3

Nếu bạn SSH vào nút chính của cụm của bạn thì bạn sẽ có thể tìm thấy stdout, stderr, syslog an d nhật ký điều khiển theo:

/mnt/var/log/hadoop/steps/<stepname>