Tôi đang chạy pySpark trong sổ ghi chép IPython. Mỗi máy tính xách tay có sparkContext riêng và mỗi máy tính có một webUI liên kết trên cổng riêng của nó, bắt đầu từ 4040.
Tôi muốn trích xuất và in cổng hoặc URI để tôi có thể duyệt webUI chính xác. Làm thế nào tôi có thể bị nhiễm độc này?Cách nhận URI WebUI từ SparkContext
Bạn có thể lấy URL đầy đủ các trang SparkUI bởi đường hầm thẳng đến tiềm ẩn Scala SparkContext với:
>>> sc._jsc.sc().uiWebUrl().get()
u'http://192.168.0.59:6970'
Đây là một chút bất tiện, tuy nhiên, vì vậy tôi đã chỉ filed a Pull Request có thể thêm một accessor, vì vậy bạn chỉ có thể làm:
>>> sc.uiWebUrl
u'http://192.168.0.59:6970'
Hy vọng rằng điều này sẽ được sáp nhập vào phiên bản tiếp theo, nhưng nếu không, bạn chỉ có thể vá bản sao của riêng bạn của Spark với những thay đổi trong chi nhánh liên kết (hoặc sử dụng các hình thức dài xấu xí ở trên).
bạn có nghĩa là trích xuất theo chương trình? dù sao bạn có thể thử dùng sparkConf.get ("spark.driver.host") – nir