Làm cách nào để thay đổi spark.ui.port?

Question

Tôi đang sử dụng tính năng phát tia lửa và cố gắng thực hiện điều này trong tệp jar với .setExecutorEnv("spark.ui.port", "4050") trên ngữ cảnh tia lửa, nhưng vẫn cố gắng đạt 4040. Sau đó, tôi đã cố gắng đặt --conf spark.ui.port=4050 sau spark-submit và trước --class CLASSNAME, nhưng điều đó không làm việc hoặc là, lần này nói "Error: Unrecognized option '--conf'". Làm thế nào để tôi có được điều này? Lỗi thực tế mà tôi đang gặp phải là có một máy chủ spark đang hoạt động mà những người khác đang sử dụng đang ngăn chặn trình kích hoạt này khởi động máy chủ jetty. Đó là sau đó không đánh lên các cảng khác, vì vậy tôi đang cố gắng để buộc nó để làm điều đó.

Answer 1

--conf spark.ui.port=4050 là tính năng Spark 1.1. Bạn có thể đặt mã trong mã của mình, chẳng hạn như:

val conf = new SparkConf().setAppName(s"SimpleApp").set("spark.ui.port", "4050") 
val sc = new SparkContext(conf)