Làm cách nào để lấy tên cột dataframe trong pyspark?

Question

Trong gấu trúc, điều này có thể được thực hiện bởi column.name.

Nhưng làm cách nào để thực hiện tương tự khi cột dữ liệu tia lửa của cột đó?

ví dụ: Chương trình gọi điện thoại có dataframe spark: spark_df

>>> spark_df.columns 
['admit', 'gre', 'gpa', 'rank'] 

Chương trình này gọi là chức năng của tôi: my_function (spark_df [ 'cấp bậc']) Trong my_function, tôi cần tên của cột tức là chữ 'rank'

Nếu nó là gấu trúc dataframe, chúng ta có thể sử dụng bên trong my_function

>>> pandas_df['rank'].name 
'rank' 

Answer 1

Bạn có thể lấy tên từ các lược đồ bằng cách làm

spark_df.schema.names 

In giản đồ có thể hữu ích để hình dung nó cũng

spark_df.printSchema() 

Answer 2

Cách duy nhất là để đi một mức độ cơ bản để JVM.

df.col._jc.toString().encode('utf8') 

Đây cũng là cách được chuyển đổi thành số str trong chính mã pyspark.

Từ pyspark/sql/column.py:

def __repr__(self): 
    return 'Column<%s>' % self._jc.toString().encode('utf8') 

Answer 3

Nếu bạn muốn các tên cột của dataframe của bạn, bạn có thể sử dụng lớp pyspark.sql. Tôi không chắc SDK hỗ trợ lập chỉ mục một cách rõ ràng một DF theo tên cột. Tôi nhận được traceback này:

>>> df.columns['High'] Traceback (most recent call last): File "<stdin>", line 1, in <module> TypeError: list indices must be integers, not str

Tuy nhiên, cách gọi phương thức cột trên dataframe của bạn. Mà bạn đã làm, sẽ trả về một danh sách các tên cột:

df.columns sẽ trở lại ['Date', 'Open', 'High', 'Low', 'Close', 'Volume', 'Adj Close']

Nếu bạn muốn kiểu dữ liệu cột bạn có thể gọi dtypes phương pháp:

df.dtypes sẽ trở lại [('Date', 'timestamp'), ('Open', 'double'), ('High', 'double'), ('Low', 'double'), ('Close', 'double'), ('Volume', 'int'), ('Adj Close', 'double')]

Nếu bạn muốn một cột cụ thể, bạn sẽ cần truy cập cột đó theo chỉ mục:

df.columns[2] sẽ trả về 'High'