Thiết lập phân bổ động trong Apache Spark?

Question

Tôi đang làm theo hướng dẫn here để thiết lập phân bổ động cho trình quản lý tài nguyên YARN.

Tuy nhiên, tôi bối rối bởi bước 3: Add this jar to the classpath of all NodeManagers in your cluster.

Điều này có nghĩa đi đến mỗi máy chủ nút và thêm đường dẫn đến shuffle.jar-PATH biến môi trường? export=$PATH:<loc-to-shuffle.jar>?

Answer 1

Đường dẫn lớp sợi có nghĩa là trên tất cả các trình quản lý nút, hoặc đặt yarn.application.classpath trong tệp sợi-site.xml chứa danh sách các mục nhập CLASSPATH được phân cách bằng dấu phẩy.

Khi giá trị này trống, lớp CLASSPATH mặc định sau cho ứng dụng YARN sẽ được sử dụng.
Đối với Linux: $ HADOOP_CONF_DIR, $ HADOOP_COMMON_HOME/share/hadoop/common/, $ HADOOP_COMMON_HOME/share/hadoop/common/lib/, $ HADOOP_HDFS_HOME/share/hadoop/HDFS/, $ HADOOP_HDFS_HOME/share/hadoop/HDFS/lib/, $ HADOOP_YARN_HOME/share/hadoop/sợi/, $ HADOOP_YARN_HOME/share/hadoop/sợi/lib/
Đối với Windows:% HADOOP_CONF_DIR%,% HADOOP_COMMON_HOME%/share/hadoop/common/, % HADOOP_COMMON_HOME%/share/hadoop/common/lib/,% HADOOP_HDFS_HOME%/share/hadoop/hdfs/,% HADOOP_HDFS_HOME%/share/hadoop/hdfs/lib/,% HADOOP_YARN_HOME%/cổ phiếu/hadoop/sợi/,% HADOOP_YARN_HOME%/cổ phiếu/hadoop/sợi/lib/

Vì vậy, hãy đặt spark-<version>-yarn-shuffle.jar vào một trong các thư mục classpath được liệt kê được định nghĩa trong yarn.application.classpath hoặc các thư mục classpath mặc định.

Bạn cũng có thể tạo liên kết mềm của spark-<version>-yarn-shuffle.jar tại một trong những thư mục sợi classpath

Hope this helps ...