PySpark 2.0 Kích thước hoặc hình dạng của một DataFrame

Question

Tôi đang cố gắng tìm hiểu kích thước/hình dạng của một DataFrame trong PySpark. Tôi không thấy một chức năng duy nhất có thể làm điều này.

Trong Python tôi có thể làm

data.shape() 

Có một chức năng tương tự trong PySpark. Đây là giải pháp hiện tại của tôi, nhưng tôi đang tìm kiếm một yếu tố một

row_number = data.count() 
column_number = len(data.dtypes) 

Việc tính toán số cột là không lý tưởng ...

Answer 1

Tôi nghĩ rằng không có chức năng tương tự như data.shape trong Spark. Nhưng tôi sẽ sử dụng len(data.columns) hơn len(data.dtypes)

Answer 2

print((df.count(), len(df.columns))) 

Answer 3

df.count() cho số hàng