pandas dataframe cột mở rộng với sklearn

Question

Tôi có một khung dữ liệu gấu trúc với các cột loại hỗn hợp và tôi muốn áp dụng min_max_scaler của sklearn cho một số cột. Lý tưởng nhất, tôi muốn thực hiện các phép biến đổi này tại chỗ, nhưng chưa tìm ra cách để làm điều đó. Tôi đã viết mã sau hoạt động:

import pandas as pd 
import numpy as np 
from sklearn import preprocessing 

scaler = preprocessing.MinMaxScaler() 

dfTest = pd.DataFrame({'A':[14.00,90.20,90.95,96.27,91.21],'B':[103.02,107.26,110.35,114.23,114.68], 'C':['big','small','big','small','small']}) 
min_max_scaler = preprocessing.MinMaxScaler() 

def scaleColumns(df, cols_to_scale): 
    for col in cols_to_scale: 
     df[col] = pd.DataFrame(min_max_scaler.fit_transform(pd.DataFrame(dfTest[col])),columns=[col]) 
    return df 

dfTest 

    A B C 
0 14.00 103.02 big 
1 90.20 107.26 small 
2 90.95 110.35 big 
3 96.27 114.23 small 
4 91.21 114.68 small 

scaled_df = scaleColumns(dfTest,['A','B']) 
scaled_df 

A B C 
0 0.000000 0.000000 big 
1 0.926219 0.363636 small 
2 0.935335 0.628645 big 
3 1.000000 0.961407 small 
4 0.938495 1.000000 small 

Tôi tò mò nếu đây là cách tốt nhất/hiệu quả nhất để thực hiện chuyển đổi này. Có cách nào tôi có thể sử dụng df.apply đó sẽ là tốt hơn?

Tôi cũng ngạc nhiên khi tôi không thể lấy mã sau đây để làm việc:

bad_output = min_max_scaler.fit_transform(dfTest['A'])

Nếu tôi vượt qua toàn bộ một dataframe để scaler nó hoạt động:

dfTest2 = dfTest.drop('C', axis = 1) good_output = min_max_scaler.fit_transform(dfTest2) good_output

Tôi đang bối rối tại sao vượt qua một loạt các scaler thất bại. Trong mã làm việc đầy đủ của tôi ở trên tôi đã hy vọng chỉ cần vượt qua một loạt để scaler sau đó thiết lập cột dataframe = để loạt thu nhỏ. Tôi đã nhìn thấy câu hỏi này hỏi một vài nơi khác, nhưng không tìm thấy câu trả lời hay. Bất kỳ sự trợ giúp nào hiểu được những gì đang xảy ra ở đây sẽ được đánh giá cao!

Answer 1

Tôi không chắc chắn nếu phiên bản trước của pandas ngăn cản này nhưng bây giờ đoạn sau hoạt động hoàn hảo đối với tôi và tạo ra chính xác những gì bạn muốn mà không cần phải sử dụng apply

>>> import pandas as pd 
>>> from sklearn.preprocessing import MinMaxScaler 


>>> scaler = MinMaxScaler() 

>>> dfTest = pd.DataFrame({'A':[14.00,90.20,90.95,96.27,91.21], 
          'B':[103.02,107.26,110.35,114.23,114.68], 
          'C':['big','small','big','small','small']}) 

>>> dfTest[['A', 'B']] = scaler.fit_transform(dfTest[['A', 'B']]) 

>>> dfTest 
      A   B  C 
0 0.000000 0.000000 big 
1 0.926219 0.363636 small 
2 0.935335 0.628645 big 
3 1.000000 0.961407 small 
4 0.938495 1.000000 small 

Answer 2

Bạn có thể làm điều đó bằng pandas chỉ:

In [235]: 
dfTest = pd.DataFrame({'A':[14.00,90.20,90.95,96.27,91.21],'B':[103.02,107.26,110.35,114.23,114.68], 'C':['big','small','big','small','small']}) 
df = dfTest[['A', 'B']] 
df_norm = (df - df.min())/(df.max() - df.min()) 
print df_norm 
print pd.concat((df_norm, dfTest.C),1) 

      A   B 
0 0.000000 0.000000 
1 0.926219 0.363636 
2 0.935335 0.628645 
3 1.000000 0.961407 
4 0.938495 1.000000 
      A   B  C 
0 0.000000 0.000000 big 
1 0.926219 0.363636 small 
2 0.935335 0.628645 big 
3 1.000000 0.961407 small 
4 0.938495 1.000000 small 

Answer 3

Giống như này?

dfTest = pd.DataFrame({ 
      'A':[14.00,90.20,90.95,96.27,91.21], 
      'B':[103.02,107.26,110.35,114.23,114.68], 
      'C':['big','small','big','small','small'] 
     }) 
dfTest[['A','B']] = dfTest[['A','B']].apply(
          lambda x: MinMaxScaler().fit_transform(x)) 
dfTest 

    A   B   C 
0 0.000000 0.000000 big 
1 0.926219 0.363636 small 
2 0.935335 0.628645 big 
3 1.000000 0.961407 small 
4 0.938495 1.000000 small 

Answer 4

Vì nó đã được đề cập trong nhận xét của pir - phương pháp .apply(lambda el: scale.fit_transform(el)) sẽ đưa ra cảnh báo sau:

Khước từThời gian: Truyền mảng 1d vì dữ liệu không được dùng nữa trong 0,17 và sẽ tăng ValueError ở 0,19. Định hình lại dữ liệu của bạn bằng cách sử dụng X.reshape (-1, 1) nếu dữ liệu của bạn có một tính năng hoặc X.reshape (1, -1) nếu nó chứa một mẫu duy nhất.

Chuyển đổi các cột của bạn để NumPy mảng nên thực hiện công việc (tôi thích StandardScaler):

from sklearn.preprocessing import StandardScaler 
scale = StandardScaler() 

dfTest[['A','B','C']] = scale.fit_transform(dfTest[['A','B','C']].as_matrix())