Làm cách nào để hiển thị nội dung đầy đủ của cột trong Khung dữ liệu Spark?

Question

Tôi đang sử dụng spark-csv để tải dữ liệu vào DataFrame. Tôi muốn làm một truy vấn đơn giản và hiển thị nội dung:

val df = sqlContext.read.format("com.databricks.spark.csv").option("header", "true").load("my.csv") 
df.registerTempTable("tasks") 
results = sqlContext.sql("select col from tasks"); 
results.show() 

Các col dường như cắt ngắn:

scala> results.show(); 
+--------------------+ 
|     col| 
+--------------------+ 
|2015-11-16 07:15:...| 
|2015-11-16 07:15:...| 
|2015-11-16 07:15:...| 
|2015-11-16 07:15:...| 
|2015-11-16 07:15:...| 
|2015-11-16 07:15:...| 
|2015-11-16 07:15:...| 
|2015-11-16 07:15:...| 
|2015-11-16 07:15:...| 
|2015-11-16 07:15:...| 
|2015-11-16 07:15:...| 
|2015-11-16 07:15:...| 
|2015-11-16 07:15:...| 
|2015-11-16 07:15:...| 
|2015-11-16 07:15:...| 
|2015-11-06 07:15:...| 
|2015-11-16 07:15:...| 
|2015-11-16 07:21:...| 
|2015-11-16 07:21:...| 
|2015-11-16 07:21:...| 
+--------------------+ 

Làm thế nào để hiển thị toàn bộ nội dung của cột?

Answer 1

results.show(20, False) sẽ không cắt bớt. Kiểm tra source

Answer 2

nếu bạn đặt chỉ results.show (False) sẽ không cắt ngắn kết quả

Answer 3

thử lệnh này:

df.show(df.count()) 

Answer 4

Dưới mã sẽ giúp để xem tất cả các hàng mà không cần cắt ngắn trong mỗi cột

df.show(df.count(), False) 

Answer 5

Các giải pháp khác là tốt. Nếu đây là những mục tiêu của mình:

1. Không cắt ngắn của cột,
2. Không mất hàng,
3. nhanh và
4. hiệu quả

Hai dòng này rất hữu ích ...

df.persist 
    df.show(df.count, false) // in Scala or 'False' in Python 

Bằng cách kiên trì, 2 hành động của người thi hành, đếm và hiển thị, ar e nhanh hơn & hiệu quả hơn khi sử dụng persist hoặc cache để duy trì cấu trúc khung nội tuyến tạm thời bên trong các trình thực thi. Xem thêm về persist and cache.

Answer 6

results.show(20, False) hoặc results.show(20, false) tùy thuộc vào việc bạn đang chạy nó trên Java/Scala/Python

Answer 7

Hãy thử điều này: df.show (số không) sẽ làm việc nhưng df.show (df.count()) sẽ không làm việc df.count cho kiểu đầu ra dài mà không được chấp nhận bởi df.show() vì nó chấp nhận kiểu số nguyên.

Answer 8

results.show(false) sẽ hiển thị cho bạn nội dung toàn bộ cột.

Hiển thị phương pháp theo giới hạn mặc định là 20 và thêm số trước false sẽ hiển thị nhiều hàng hơn.