5
Tôi đã viết một chương trình sử dụng API Java Spark. Do dữ liệu của tôi lớn, tôi gặp phải lỗi sau đâyLàm thế nào để tăng không gian heap Java trên cụm Spark Amazon EC2?
java.lang.OutOfMemoryError: Java heap space
Bất kỳ ý tưởng nào làm tăng không gian heap java của cụm Spark EC2 trên Aws? Tôi có thể cung cấp chi tiết về mã và thiết lập cụm của tôi nếu cần. Cảm ơn.
bạn có thể đăng nhật ký lỗi cho sự cố không? Nó sẽ giúp người khác để có được một cái nhìn tổng quan tốt hơn về vấn đề này. – lighthouse
'Ngoại lệ trong chủ đề" pool-2-thread-3 "java.lang.OutOfMemoryError: Vùng heap Java tại java.nio.HeapByteBuffer. (HeapByteBuffer.java:57) tại java.nio.ByteBuffer.allocate (ByteBuffer.java:331) tại org.apache.spark.network.Message $ .Create (Message.scala: 88) tại org.apache .spark.network.ReceivingConnection $ Inbox.org $ apache $ spark $ network $ ReceivingConnection $ Inbox $$ createNewMessage $ 1 (Connection.scala: 438) .... 10 dòng khác .... ' –