Bản đồ SparkWithState xáo trộn tất cả dữ liệu đến một nút

Question

Tôi đang làm việc trên dự án phát trực tuyến Scala (2.11)/Spark (1.6.1) và sử dụng mapWithState() để theo dõi dữ liệu đã xem từ các đợt trước.

Trạng thái được chia thành 20 phân vùng, được tạo bằng StateSpec.function(trackStateFunc _).numPartitions(20). Tôi đã hy vọng phân phối trạng thái trong toàn bộ cụm, nhưng có vẻ như mỗi nút giữ trạng thái hoàn chỉnh và việc thực hiện luôn được thực hiện chỉ một nút chính xác.

Locality Level Summary: Node local: 50 được hiển thị trong giao diện người dùng cho từng lô và lô hoàn chỉnh là ngẫu nhiên đọc. Sau đó, tôi viết thư cho Kafka và các phân vùng được lan truyền lại trên cụm. Tôi dường như không thể tìm ra lý do tại sao mapWithState() cần phải được chạy trên một nút duy nhất. Điều này không làm hỏng khái niệm phân vùng trạng thái nếu nó bị giới hạn bởi một nút thay vì cụm hoàn chỉnh? Không thể phân phối trạng thái bằng khóa?

Answer 1

tôi dường như không thể tìm ra lý do tại sao mapWithState cần phải được chạy trên một nút đơn

Nó không. Spark theo mặc định sử dụng một số HashPartitioner để phân chia khóa của bạn giữa các nút công nhân khác nhau trong cụm của bạn. Nếu vì một lý do nào đó bạn thấy tất cả dữ liệu của mình được lưu trữ trên một nút khác, hãy kiểm tra sự phân bố các khóa của bạn. Nếu đây là đối tượng tùy chỉnh bạn đang sử dụng làm khóa, hãy đảm bảo phương thức hashCode được triển khai đúng cách. Điều này có thể xảy ra nếu có sự cố với phân phối khóa. Nếu bạn muốn thử nghiệm điều này, hãy thử sử dụng các số ngẫu nhiên làm khóa của bạn và tìm kiếm giao diện người dùng Spark và xem liệu hành vi này có thay đổi hay không.

Tôi đang chạy mapWithState và dữ liệu đến được phân đoạn dựa trên khóa, vì tôi cũng có cuộc gọi phương thức reduceByKey trước khi giữ trạng thái và khi xem tab Storage trên giao diện người dùng Spark, tôi có thể thấy RDD khác nhau được lưu trữ trên các nút công nhân khác nhau trong cụm.

Answer 2

Bạn đang chạy tia lửa trên cụm chế độ -deploy-mode? hãy kiểm tra xem.

Cũng đảm bảo rằng bạn đang cài đặt --num-executors 20 --executor-core 10 vì trừ khi bạn chạy với phân bổ động theo mặc định, nó sẽ gán 2 người thực thi.