2017-07-06 20 views
6

Tôi đang sử dụng Spark 2 và Scala 2.11 trong máy tính xách tay Zeppelin 0.7. Tôi có một dataframe rằng tôi có thể in như thế này:Tôi có thể in một khung dữ liệu trong Zeppelin/Spark/Scala bằng cách nào?

dfLemma.select("text", "lemma").show(20,false) 

và đầu ra trông giống như:

+---------------------------------------------------------------------------------------------------------------------------+-----------------------------------------------------------------------------------------------------------------------------------------------------------------------+ 
|text                              |lemma                                         | 
+---------------------------------------------------------------------------------------------------------------------------+-----------------------------------------------------------------------------------------------------------------------------------------------------------------------+ 
|RT @Dope_Promo: When you and your crew beat your high scores on FUGLY FROG https://time.com/Sxp3Onz1w8     |[rt, @dope_promo, :, when, you, and, you, crew, beat, you, high, score, on, FUGLY, FROG, https://time.com/sxp3onz1w8]              | 
|RT @axolROSE: Did yall just call Kermit the frog a lizard? https://time.com/wDAEAEr1Ay          |[rt, @axolrose, :, do, yall, just, call, Kermit, the, frog, a, lizard, ?, https://time.com/wdaeaer1ay]                  | 

Tôi cố gắng để làm cho sản lượng đẹp hơn trong Zeppelin, bởi:

val printcols= dfLemma.select("text", "lemma") 
println("%table " + printcols) 

cho kết quả này:

printcols: org.apache.spark.sql.DataFrame = [text: string, lemma: array<string>] 

và một đoạn Zeppelin trống mới đứng đầu

[text: string, lemma: array] 

Có cách nào để lấy khung dữ liệu để hiển thị dưới dạng bảng được định dạng độc đáo không? TIA!

Trả lời

16

Trong Zeppelin bạn có thể sử dụng z.show(df) để hiển thị một bảng đẹp. Dưới đây là một ví dụ:

val df = Seq(
    (1,1,1), (2,2,2), (3,3,3) 
).toDF("first_column", "second_column", "third_column") 

z.show(df) 

enter image description here

+0

Nice. Không biết điều này, tôi đã viết chức năng in đẹp của riêng mình (tận dụng ''% table'') cho pyspark. Tôi không thể tìm thấy điều này ở bất cứ nơi nào trong tài liệu, tuy nhiên ... –

+1

@ TwUxTLi51Nus Đúng là các tài liệu không phải là rất tốt cho phần này. Bạn có thể tìm thấy một số thông tin về ZeppelinContext [ở đây] (https://zeppelin.apache.org/docs/latest/interpreter/spark.html#zeppelincontext) và trong mã ([ở đây] (https://github.com /apache/zeppelin/blob/branch-0.7/spark/src/main/java/org/apache/zeppelin/spark/ZeppelinContext.java)) bạn có thể xem tất cả các chức năng có sẵn. Ngoài ra, trong sổ ghi chép, bạn có thể kiểm tra bằng cách sử dụng ctrl + dấu cách trên biến z. –

+0

ctrl + dấu cách không hoạt động đối với tôi, tuy nhiên (trong python) '' dir (z) '' thực hiện. –

Các vấn đề liên quan