Giết một nhiệm vụ tia lửa đơn

Question

Tôi có một công việc Spark rất dài, từ đó một số ít công việc hiện đang bị đình trệ. Có cách nào để giết những nhiệm vụ bị trì hoãn đó khỏi nút trình điều khiển không?

Vì lý do quyền tôi có thể đăng nhập nhưng không thể xóa công việc trên các nút phụ, vì vậy tôi đang tìm cách thực hiện điều này từ nút trình điều khiển. Lưu ý, tôi không muốn giết toàn bộ công việc Spark - chỉ một hoặc hai nhiệm vụ bị đình trệ.

Nếu có ích, tôi đang sử dụng Mesos và có quyền truy cập vào giao diện người dùng web, nhưng điều đó không chứa tùy chọn để xóa nhiệm vụ.

Answer 1

Không, không thực sự.

Bạn không thể tự mình giết một tác vụ tia lửa, tuy nhiên bạn có thể sử dụng đầu cơ tia lửa để tự động xác định nhiệm vụ nào mất quá nhiều thời gian và khởi động lại chúng một cách chủ động.

Nếu bạn muốn thực hiện điều đó, hãy đặt spark.speculation thành true và [nếu bạn dám] sửa đổi các tùy chọn cấu hình spark.speculation.interval, spark.speculation.multiplier, spark.speculation.quantile.

Documents liên quan: http://spark.apache.org/docs/latest/configuration.html#viewing-spark-properties

liên quan SO: How to deal with tasks running too long (comparing to others in job) in yarn-client?