Chạy Spark trên YARN ở chế độ nhóm sợi: Đầu ra của bàn điều khiển đi đâu?

Question

Tôi đã theo dõi trang này và chạy ứng dụng ví dụ SparkPi trên YARN ở chế độ nhóm sợi.

http://spark.apache.org/docs/latest/running-on-yarn.html

tôi không thấy đầu ra của chương trình vào cuối (đó là kết quả của việc tính toán trong trường hợp này). Khi tôi chạy nó trong chế độ sợi-client (--master sợi-client), tôi thấy một đầu ra như thế này:

Pi là khoảng 3,138796

Trường hợp nào thì tiêu chuẩn ra đi trong chế độ cụm sợi?

Answer 1

Sau khi xem xét cẩn thận, tôi tìm thấy điều này trong số spark-0.9.0 doc.

Kiểm tra đầu ra (thay thế $ YARN_APP_ID trong những điều sau với "nhận dạng ứng dụng" đầu ra bằng các lệnh trước đó) (Lưu ý: YARN_APP_LOGS_DIR thường là/tmp/nhật ký hoặc $ HADOOP_HOME/logs/userlogs tùy thuộc vào Hadoop phiên bản.)

$ cat $ YARN_APP_LOGS_DIR/$ YARN_APP_ID/thùng * _000001/stdout

Pi là khoảng 3,13794

tôi muốn họ đặt hướng dẫn này trong 1.1.0 documentation.