Tạo Sơ đồ/Cấu trúc Spark từ lớp vỏ

Question

Nếu tôi muốn tạo StructType (ví dụ: DataFrame.schema) trong số case class, có cách nào để thực hiện điều đó mà không cần tạo DataFrame không? Tôi có thể dễ dàng thực hiện:

case class TestCase(id: Long) 
val schema = Seq[TestCase]().toDF.schema 

Nhưng có vẻ như quá mức cần thiết để tạo ra DataFrame khi tất cả những gì tôi muốn là lược đồ.

(Nếu bạn tò mò, lý do đằng sau những câu hỏi là tôi đang xác định một UserDefinedAggregateFunction, và làm như vậy bạn ghi đè một vài phương pháp mà trở StructTypes và tôi sử dụng lớp hợp cụ thể.)

Answer 1

Bạn có thể làm nó theo cùng một cách SQLContext.createDataFrame làm nó:

import org.apache.spark.sql.catalyst.ScalaReflection 
val schema = ScalaReflection.schemaFor[TestCase].dataType.asInstanceOf[StructType] 

Answer 2

tôi biết câu hỏi này là gần một năm tuổi nhưng tôi đi qua nó và nghĩ rằng những người khác làm cũng có thể muốn biết rằng tôi vừa học được cách sử dụng phương pháp này:

import org.apache.spark.sql.Encoders 
val mySchema = Encoders.product[MyCaseClass].schema 

Answer 3

trong trường hợp ai đó muốn làm việc này cho một tùy chỉnh chương trình Java:

ExpressionEncoder.javaBean(Event.class).schema().json()