Spark Song song? (Không thể tìm thấy bất động sản tác giả với tên 'id')

Question

gì gây ra lỗi serialization này trong Apache Spark 1.4.0 khi gọi:

sc.parallelize(strList, 4) 

ngoại lệ này được ném:

com.fasterxml.jackson.databind.JsonMappingException: 
Could not find creator property with name 'id' (in class org.apache.spark.rdd.RDDOperationScope) 

ném từ addBeanProps trong Jackson: com.fasterxml.jackson.databind.deser.BeanDeserializerFactory # addBeanProps

RDD là Seq [String] và #partitions dường như không quan trọng (đã thử 1, 2, 4).

Không có theo dõi ngăn xếp tuần tự hóa, vì thông thường, không thể đăng ký đóng cửa công nhân.

Cách khác để theo dõi điều này là gì?

Answer 1

@Interfector là chính xác. Tôi cũng gặp vấn đề này, đây là một đoạn trích từ tệp sbt của tôi và phần 'dependencyOverrides' đã sửa nó.

libraryDependencies ++= Seq(
    "com.amazonaws" % "amazon-kinesis-client" % "1.4.0", 
    "org.apache.spark" %% "spark-core" % "1.4.0", 
    "org.apache.spark" %% "spark-streaming" % "1.4.0", 
    "org.apache.spark" %% "spark-streaming-kinesis-asl" % "1.4.0", 
    "com.amazonaws" % "aws-java-sdk" % "1.10.2" 
) 

dependencyOverrides ++= Set(
    "com.fasterxml.jackson.core" % "jackson-databind" % "2.4.4" 
) 

Answer 2

Tôi cho rằng điều này là do đường dẫn lớp cung cấp cho bạn phiên bản jackson khác với mức Spark mong đợi (nghĩa là 2.4.4 nếu tôi không nhầm lẫn). Bạn sẽ cần phải điều chỉnh classpath của bạn để đúng jackson được tham chiếu đầu tiên cho Spark.

Answer 3

tôi đã cùng một vấn đề với một dự án được xây dựng với Gradle và tôi loại trừ sự phụ thuộc bắc cầu từ các dự án mà đã tạo ra vấn đề:

dependencies 
{ 
    compile('dependency.causing:problem:version') 
    { 
     exclude module: 'jackson-databind' 
    } 

.... 

} 

đó đã làm việc một cách hoàn hảo đối với tôi.

Answer 4

Điều này làm việc cho tôi <dependency> excludeAll ExclusionRule(organization = "com.fasterxml.jackson.core")