6
TL; DR Làm cách nào để kết nối trình điều khiển cục bộ với cụm tia lửa qua SOCKS-proxy.Kết nối để kích hoạt thông qua proxy SOCKS
Chúng tôi có một cụm tia lửa tại chỗ phía sau tường lửa chặn hầu hết các cổng. Chúng tôi có quyền truy cập ssh, vì vậy tôi có thể tạo một proxy SOCKS với ssh -D 7777 ....
Nó hoạt động tốt khi duyệt web-UI khi trình duyệt của tôi sử dụng proxy, nhưng tôi không biết cách làm cho trình điều khiển cục bộ sử dụng nó.
Cho đến nay tôi có điều này, mà rõ ràng là không được cấu hình bất kỳ proxy:
val sconf = new SparkConf()
.setMaster("spark://masterserver:7077")
.setAppName("MySpark")
new SparkContext(sconf)
nào đăng các thông báo 16 lần trước khi ném một ngoại lệ.
15/01/20 14:43:34 INFO Remoting: Starting remoting
15/01/20 14:43:34 ERROR NettyTransport: failed to bind to server-name/ip.ip.ip.ip:0, shutting down Netty transport
15/01/20 14:43:34 INFO RemoteActorRefProvider$RemotingTerminator: Shutting down remote daemon.
15/01/20 14:43:34 WARN Utils: Service 'sparkDriver' could not bind on port 0. Attempting port 1.
15/01/20 14:43:34 INFO RemoteActorRefProvider$RemotingTerminator: Remote daemon shut down; proceeding with flushing remote transports.
15/01/20 14:43:34 INFO RemoteActorRefProvider$RemotingTerminator: Remoting shut down.