2016-09-14 57 views
9

Tôi đã đi qua một trong số presentation về quản lý bộ nhớ tia lửa và muốn biết làm thế nào để có được một hình ảnh đồ họa tốt về sử dụng bộ nhớ thực thi (một cái gì đó tương tự như những gì đã được đề cập trong bài thuyết trình), để hiểu lỗi bộ nhớ tốt hơn. Ngoài ra, cách tốt nhất để phân tích việc sử dụng bộ nhớ off-heap trong các trình thực thi tia lửa là gì? Làm thế nào để tìm số lượng sử dụng bộ nhớ off-heap như là một chức năng của thời gian?Điều gì sẽ được sử dụng để có chế độ xem đồ họa sử dụng bộ nhớ của Spark (với YARN)?

Tôi nhìn vào Ganglia nhưng nó cung cấp số liệu cấp nút. Tôi thấy khó để hiểu việc sử dụng bộ nhớ cấp độ thi hành bằng cách sử dụng các chỉ số mức nút.

Trả lời

3

Tôi đã suy nghĩ về một công cụ tương tự!

Tôi nghĩ org.apache.spark.scheduler.SparkListener là giao diện cho tất cả các chỉ số cấp thấp trong Apache Spark với onExecutorMetricsUpdate là phương pháp để xem xét khi phát triển công cụ giám sát cấp cao hơn.

Bạn cũng có thể theo dõi JVM bằng giao diện JMX, nhưng nó có thể quá thấp và chắc chắn không có thông tin theo ngữ cảnh về cách Spark sử dụng tài nguyên.

Các vấn đề liên quan