spark 2.1.1: Các giá trị JSON được phân tích cú pháp không khớp với hàm tạo lớp

Question

Tôi gặp sự cố lạ với spark 2.1.1 và json4s.jackson.

Tôi đã nâng cấp dự án phát trực tuyến của mình từ spark 1.5.1. Bây giờ khi tôi thực thi mã trong IDE tất cả mọi thứ hoạt động tốt.

Nhưng sau assembly và mã độc thực với spark-submit

Tôi đã nhận lỗi sau

Caused by: org.json4s.package$MappingException: Parsed JSON values do not match with class constructor 
args= 
arg types= 
constructor= 

environemnt của tôi:

• spark = 2.1.1,
• scala = 2.11,
• json4s-jackson = 3.2.11

Có ai đó đã phải đối mặt với cùng một vấn đề trước đây chưa? Nếu có, bạn đã giải quyết nó như thế nào?

Rất cám ơn.

Answer 1

Có vẻ như tìm kiếm lỗi json4s-jackson trong sau liên kết "giá trị phân tích cú pháp JSON không phù hợp với lớp constructor"

https://recordnotfound.com/json4s-json4s-3177/issues

Bạn cần phải sửa đổi json bạn

Answer 2

Nâng cấp lên Spark mới nhất vesrion 2.2 .x giải quyết vấn đề. Có vẻ như lỗi trong Spark 2.1.x đã được khắc phục ngay bây giờ trong Spark 2.2.x