5
Tôi đang viết một tập tin gỗ từ DataFrame đến S3. Khi tôi nhìn vào giao diện người dùng Spark, tôi có thể xem tất cả các tác vụ nhưng 1 hoàn thành nhanh chóng giai đoạn viết (ví dụ: 199/200). Tác vụ cuối cùng này dường như mất vĩnh viễn để hoàn thành, và rất thường xuyên, nó không thành công do vượt quá giới hạn bộ nhớ thi hành.Spark viết Parquet đến S3 nhiệm vụ cuối cùng mất mãi mãi
Tôi muốn biết điều gì đang xảy ra trong nhiệm vụ cuối cùng này. Làm thế nào để tối ưu hóa nó? Cảm ơn.
Tôi nhận thấy rằng người thực hiện nhiệm vụ cuối cùng này có nhiều lượt đọc ngẫu nhiên hơn so với các người thi hành đã hoàn thành khác. Điều này có nghĩa là phân vùng không phải là tối ưu? Làm thế nào để tránh nó? – user2680514
Tôi đang sử dụng Spark 1.3.1 – user2680514
Để xác định xem liệu dữ liệu có bị lệch hay không thì chúng tôi cần thêm thông tin về kích thước của tệp cuối cùng so với các tệp khác. Với những gì bạn nói về lỗi OOM, tôi nghĩ rằng dữ liệu nghiêng là vấn đề. Nếu không có một số mã, sẽ rất khó để giúp đỡ trong bất cứ điều gì nhưng một thử-này thử theo cách đó. – BAR