5
Tôi đang chạy một tia lửa trực tuyến 24x7 và sử dụng updateStateByKey chức năng để lưu các dữ liệu lịch sử tính toán như trong trường hợp của NetworkWordCount Ví dụ ..Spark Truyền UpdateStateByKey
Tôi đang cố gắng để dòng một tập tin với hồ sơ 3lac với 1 giây ngủ cho mỗi 1500 hồ sơ. Tôi đang sử dụng 3 công nhân
- Trong khoảng thời gian updateStateByKey đang phát triển, sau đó chương trình ném ngoại lệ sau
LỖI Executor: Ngoại lệ trong ID nhiệm vụ 1635 java.lang.ArrayIndexOutOfBoundsException: 3
14/10/23 21:20:43 ERROR TaskSetManager: Task 29170.0:2 failed 1 times; aborting job
14/10/23 21:20:43 ERROR DiskBlockManager: Exception while deleting local spark dir: /var/folders/3j/9hjkw0890sx_qg9yvzlvg64cf5626b/T/spark-local-20141023204346-b232
java.io.IOException: Failed to delete: /var/folders/3j/9hjkw0890sx_qg9yvzlvg64cf5626b/T/spark-local-20141023204346-b232/24
14/10/23 21:20:43 ERROR Executor: Exception in task ID 8037
java.io.FileNotFoundException: /var/folders/3j/9hjkw0890sx_qg9yvzlvg64cf5626b/T/spark-local-20141023204346-b232/22/shuffle_81_0_1 (No such file or directory)
at java.io.FileOutputStream.open(Native Method)
Làm cách nào để xử lý việc này? Tôi đoán updateStateByKey nên được đặt lại định kỳ khi nó đang phát triển với tốc độ nhanh, vui lòng chia sẻ một số ví dụ về thời gian và cách đặt lại updateStateByKey .. hoặc tôi có bất kỳ sự cố nào khác không? làm sáng tỏ.
Bất kỳ trợ giúp nào được đánh giá cao. Cảm ơn thời gian của bạn