Làm thế nào để sửa chữa kết nối thiết lập lại bằng tin nhắn ngang hàng từ apache-spark?

Question

Tôi tiếp tục nhận được ngoại lệ sau rất thường xuyên và tôi tự hỏi tại sao điều này xảy ra? Sau khi nghiên cứu tôi thấy tôi có thể làm .set("spark.submit.deployMode", "nio"); nhưng điều đó không làm việc, hoặc và tôi đang sử dụng tia lửa 2.0.0

WARN TransportChannelHandler: Exception in connection from /172.31.3.245:46014 
    java.io.IOException: Connection reset by peer 
    at sun.nio.ch.FileDispatcherImpl.read0(Native Method) 
    at sun.nio.ch.SocketDispatcher.read(SocketDispatcher.java:39) 
    at sun.nio.ch.IOUtil.readIntoNativeBuffer(IOUtil.java:223) 
    at sun.nio.ch.IOUtil.read(IOUtil.java:192) 
    at sun.nio.ch.SocketChannelImpl.read(SocketChannelImpl.java:380) 
    at io.netty.buffer.PooledUnsafeDirectByteBuf.setBytes(PooledUnsafeDirectByteBuf.java:221) 
    at io.netty.buffer.AbstractByteBuf.writeBytes(AbstractByteBuf.java:898) 
    at io.netty.channel.socket.nio.NioSocketChannel.doReadBytes(NioSocketChannel.java:242) 
    at io.netty.channel.nio.AbstractNioByteChannel$NioByteUnsafe.read(AbstractNioByteChannel.java:119) 
    at io.netty.channel.nio.NioEventLoop.processSelectedKey(NioEventLoop.java:511) 
    at io.netty.channel.nio.NioEventLoop.processSelectedKeysOptimized(NioEventLoop.java:468) 
    at io.netty.channel.nio.NioEventLoop.processSelectedKeys(NioEventLoop.java:382) 
    at io.netty.channel.nio.NioEventLoop.run(NioEventLoop.java:354) 
    at io.netty.util.concurrent.SingleThreadEventExecutor$2.run(SingleThreadEventExecutor.java:112) 

Answer 1

tôi đã nhận được báo lỗi tương tự ngay cả khi tôi đã cố gắng rất nhiều công việc things.My sử dụng gặp khó khăn ném này lỗi sau khi chạy một thời gian rất dài. Tôi đã thử vài công việc xung quanh đã giúp tôi giải quyết. Mặc dù, tôi vẫn nhận được lỗi tương tự bởi ít nhất công việc của tôi chạy tốt.

1. một lý do có thể khiến các nhà điều hành tự sát rằng họ đã mất kết nối từ máy chủ. Tôi đã thêm các cấu hình bên dưới vào tệp tin spark-defaults.conf.

   spark.network.timeout 10000000 spark.executor.heartbeatInterval 10000000 về cơ bản, tôi đã tăng thời gian chờ mạng và khoảng thời gian nhịp tim

2. Các bước cụ thể mà sử dụng để gặp khó khăn, tôi chỉ lưu trữ các dataframe đó là được sử dụng để xử lý (trong bước đã từng gặp khó khăn)

Lưu ý: - Đây là lỗi xung quanh, tôi vẫn thấy lỗi tương tự trong nhật ký lỗi nhưng công việc của tôi không bị chấm dứt.