Tách 1 cột thành 3 cột trong tia lửa scala

Question

Tôi có một khung dữ liệu trong Spark bằng scala có cột mà tôi cần chia tách.

scala> test.show 
+-------------+ 
|columnToSplit| 
+-------------+ 
|  a.b.c| 
|  d.e.f| 
+-------------+ 

Tôi cần cột này chia ra như sau:

+--------------+ 
|col1|col2|col3| 
| a| b| c| 
| d| e| f| 
+--------------+ 

Tôi đang sử dụng Spark 2.0.0

Cảm ơn

Answer 1

Hãy thử:

df.withColumn("_tmp", split($"columnToSplit", "\\.")).select(
    $"_tmp".getItem(0).as("col1"), 
    $"_tmp".getItem(1).as("col2"), 
    $"_tmp".getItem(2).as("col3") 
).drop("_tmp") 

Answer 2

Một giải pháp tránh được sele phần ct. Đây là hữu ích khi bạn chỉ muốn thêm các cột mới:

case class Message(others: String, text: String) 

val r1 = Message("foo1", "a.b.c") 
val r2 = Message("foo2", "d.e.f") 

val records = Seq(r1, r2) 
val df = spark.createDataFrame(records) 

df.withColumn("col1", split(col("text"), "\\.").getItem(0)) 
    .withColumn("col2", split(col("text"), "\\.").getItem(1)) 
    .withColumn("col3", split(col("text"), "\\.").getItem(2)) 
    .show(false) 

+------+-----+----+----+----+ 
|others|text |col1|col2|col3| 
+------+-----+----+----+----+ 
|foo1 |a.b.c|a |b |c | 
|foo2 |d.e.f|d |e |f | 
+------+-----+----+----+----+ 

Answer 3

Để làm điều này theo chương trình, bạn có thể tạo ra một chuỗi các biểu thức với (0 until 3).map(i => col("temp").getItem(i).as(s"col$i")) (giả sử bạn cần 3 cột như kết quả) và sau đó áp dụng nó vào select với : _* cú pháp:

df.withColumn("temp", split(col("columnToSplit"), "\\.")).select(
    (0 until 3).map(i => col("temp").getItem(i).as(s"col$i")): _* 
).show 
+----+----+----+ 
|col0|col1|col2| 
+----+----+----+ 
| a| b| c| 
| d| e| f| 
+----+----+----+ 

---

Để giữ cho tất cả các cột:

df.withColumn("temp", split(col("columnToSplit"), "\\.")).select(
    col("*") +: (0 until 3).map(i => col("temp").getItem(i).as(s"col$i")): _* 
).show 
+-------------+---------+----+----+----+ 
|columnToSplit|  temp|col0|col1|col2| 
+-------------+---------+----+----+----+ 
|  a.b.c|[a, b, c]| a| b| c| 
|  d.e.f|[d, e, f]| d| e| f| 
+-------------+---------+----+----+----+