Trong Spark, sự khác nhau giữa thư mục nhật ký sự kiện và thư mục nhật ký máy chủ lịch sử là gì?Sự khác nhau giữa spark.eventLog.dir và spark.history.fs.logDirectory là gì?
spark.eventLog.dir hdfs:///var/log/spark/apps
spark.history.fs.logDirectory hdfs:///var/log/spark/apps
Từ các tài liệu chính thức của Apache Spark:
spark.eventLog.dirlà thư mục cơ sở, trong đó sự kiện Spark đã đăng nhập, nếu spark.eventLog.enabled là đúng. Trong thư mục cơ sở này, Spark tạo một thư mục con cho mỗi ứng dụng và ghi lại các sự kiện cụ thể cho ứng dụng trong thư mục này. Người dùng có thể muốn đặt địa chỉ này thành một vị trí thống nhất như một thư mục HDFS để các tệp lịch sử có thể được đọc bởi máy chủ lịch sử.
Xem spark.eventLog.dir.
spark.history.fs.logDirectorydành cho nhà cung cấp lịch sử hệ thống tệp, URL vào thư mục chứa nhật ký sự kiện ứng dụng cần tải. Đây có thể là một tệp cục bộ: // path, đường dẫn HDFS hdfs: // namenode/shared/spark-logs hoặc của một hệ thống tệp thay thế được hỗ trợ bởi API Hadoop.
Xem spark.history.fs.logDirectory.
spark.eventLog.dir là tạo nhật ký trong khi spark.history.fs.logDirectory là nơi Máy chủ lịch sử Spark tìm thấy sự kiện nhật ký.
Chúng có nên luôn giống nhau không? – marios
Có, theo tài liệu được tìm thấy tại [Giám sát tia lửa] (http://spark.apache.org/docs/latest/monitoring.html) "Bản thân các công việc tia lửa phải được định cấu hình để ghi lại sự kiện và đăng nhập vào Ví dụ, nếu máy chủ được cấu hình với một thư mục nhật ký của các bản ghi hdfs: // namenode/shared/spark, thì các tùy chọn phía máy khách sẽ là: spark.eventLog.enabled true spark.eventLog. dir hdfs: // namenode/shared/spark-logs " – noahpc
Chúng có thể khác nhau, nếu không sẽ không có 2 biến. Theo hiểu biết của tôi, nếu 'spark.eventLog.dir = dir1' trong khi' spark.history.fs.logDirectory = dir2', thì sự kiện của tia lửa hiện tại được ghi vào dir1, trong khi máy chủ lịch sử đọc dữ liệu từ dir2 (có thể từ một cài đặt tia lửa khác). Đó là để nói, máy chủ lịch sử không phụ thuộc vào cài đặt tia lửa hiện tại, bạn có thể trỏ đến bất kỳ thư mục nào chứa dữ liệu lịch sử (* .lz4 files). – Leon