Tôi đã viết nguồn/số liệu tùy chỉnh cho ứng dụng phát trực tuyến Spark của mình và tôi đang cố gắng khởi chạy nó từ metrics.properties - nhưng điều đó không hoạt động từ người thực thi. Tôi không có quyền kiểm soát trên các máy trong cụm Spark, vì vậy tôi không thể sao chép tập tin thuộc tính trong $ SPARK_HOME/conf/trong cụm. Tôi có nó trong lọ chất béo, nơi mà ứng dụng của tôi đang hoạt động, nhưng khi bình chất béo của tôi được tải xuống trên các nút công nhân trong cụm, các nhà điều hành đã bắt đầu và hệ thống Metrics của họ đã được khởi tạo - do đó không chọn tệp của tôi với cấu hình nguồn tùy chỉnh trong đó .Cấu hình nguồn/sink tùy chỉnh không được nhận dạng
Sau post, tôi đã chỉ định 'spark.files = metrics.properties' và 'spark.metrics.conf = metrics.properties' nhưng vào thời điểm 'metrics.properties' được chuyển đến người thực thi, hệ thống số liệu của họ đã sẵn sàng được khởi tạo.
Nếu tôi khởi tạo hệ thống chỉ số của riêng mình, nó sẽ chọn tệp của tôi nhưng sau đó tôi thiếu các chỉ số/thuộc tính cấp độ chính/thực thi (ví dụ: executor.sink.mySink.propName = myProp - không thể đọc 'propName' từ 'mySink') vì chúng là initialized bởi hệ thống số liệu của Spark.
Có cách nào (có lập trình) để 'số liệu.properties' được vận chuyển trước khi các nhà thi hành initialize hệ thống chỉ số của họ không?
Update1: Tôi đang cố gắng này trên độc lập Spark 2.0.0 cụm
Update2: Tư tưởng của hacks vào việc đạt được này - trước khi bắt đầu công việc spark 'thực tế' của bạn, hãy bắt đầu một công việc giả để sao chép metrics.properties trên mỗi công nhân. Sau đó, bắt đầu công việc thực tế của bạn với vị trí tệp đã biết trước. Nhược điểm - nếu một công nhân chết và một nhân viên khác thay thế nó, nó sẽ không có tập tin này trong con đường đã biết trước. Giải pháp thay thế - khi máy công nhân mới bắt đầu, nó cũng lấy số liệu.properties từ git-repo của bạn và đặt nó vào đường dẫn đã biết trước. Mặc dù, nó có thể hoạt động, nó rất khủng khiếp và một giải pháp ưu tiên là Spark hỗ trợ nó trong nội bộ.
Tôi đã thử điều đó. 2 vấn đề - 1) Nó không sao chép 'metrics.properties' vào trình điều khiển máy - vì nó chỉ được phép sao chép các tệp trong thư mục làm việc của trình thực thi. 2) Bởi thời gian nó sao chép các tập tin trên thực thi, hệ thống số liệu đã cố gắng để khởi tạo và thất bại - vì thiếu các tập tin. –