Spark streaming on yarn - Container chạy vượt quá giới hạn bộ nhớ vật lý

Question

Tôi đang chạy ứng dụng phát trực tiếp trên Sợi, Nó hoạt động tốt trong vài ngày và sau đó tôi gặp sự cố, thông báo lỗi từ danh sách sợi bên dưới:

Application application_1449727361299_0049 failed 2 times due to AM Container for appattempt_1449727361299_0049_000002 exited with exitCode: -104 
For more detailed output, check application tracking page:https://sccsparkdev03:26001/cluster/app/application_1449727361299_0049Then, click on links to logs of each attempt. 
Diagnostics: Container [pid=25317,containerID=container_1449727361299_0049_02_000001] is running beyond physical memory limits. Current usage: 3.5 GB of 3.5 GB physical memory used; 5.3 GB of 8.8 GB virtual memory used. Killing container. 

Và đây là cấu hình bộ nhớ của tôi:

lỗi

spark.driver.memory = 3g 
spark.executor.memory = 3g 
mapred.child.java.opts -Xms1024M -Xmx3584M 
mapreduce.map.java.opts -Xmx2048M 
mapreduce.map.memory.mb 4096 
mapreduce.reduce.java.opts -Xmx3276M 
mapreduce.reduce.memory.mb 4096 

oom đây là kỳ lạ vì tôi không duy trì bất kỳ dữ liệu trong bộ nhớ vì nó là một chương trình trực tuyến, không ai gặp phải những câu hỏi tương tự như nó? Hoặc ai biết điều gì gây ra nó?

Answer 1

Kiểm tra mem trên cá thể hộp/vm bạn đang chạy. Đoán của tôi là máy chủ có màu đỏ lót nó.

... do, nó xuất hiện, cấp phát bộ nhớ quá mức.

Bạn nghĩ luồng trực tuyến được thực hiện ở đâu? Bất kể bạn lưu trữ bất cứ thứ gì ở đó? Yup. ký ức. Không phải mèo hay nhảy múa Viking hoặc (thêm "e").

Đoán xem cái gì? Bạn đang phân bổ 7 GB bộ nhớ được đánh giá cao về phía vật lý trên mem ảo.

1. Kiểm tra nhật ký của bạn, vì điều đó sẽ có thời gian tạo tương tự.

2. Giá trị spark.yarn.am.memory là gì?

3. Nhận VM và bộ nhớ chứa phân bổ của bạn trong sự cân bằng :)

suy nghĩ khác là để điều chỉnh memoryOverhead nên như vật lý & ảo có thể cân xứng hơn