Pandas: Lấy mẫu DataFrame

Question

Tôi đang cố gắng đọc một tệp CSV khá lớn với Pandas và chia thành hai phần ngẫu nhiên, một trong số đó là 10% dữ liệu và phần còn lại là 90%.

Dưới đây là nỗ lực hiện tại của tôi:

rows = data.index 
row_count = len(rows) 
random.shuffle(list(rows)) 

data.reindex(rows) 

training_data = data[row_count // 10:] 
testing_data = data[:row_count // 10] 

Đối với một số lý do, sklearn ném lỗi này khi tôi cố gắng sử dụng một trong các đối tượng này DataFrame kết quả bên trong của một bộ phân loại SVM:

IndexError: each subindex must be either a slice, an integer, Ellipsis, or newaxis 

Tôi nghĩ Tôi đang làm sai. Có cách nào tốt hơn để làm điều này?

Answer 1

Bạn đang sử dụng phiên bản gấu trúc nào? Đối với tôi mã của bạn hoạt động tốt (i `m trên git master).

cách tiếp cận khác có thể là:

In [117]: import pandas 

In [118]: import random 

In [119]: df = pandas.DataFrame(np.random.randn(100, 4), columns=list('ABCD')) 

In [120]: rows = random.sample(df.index, 10) 

In [121]: df_10 = df.ix[rows] 

In [122]: df_90 = df.drop(rows) 

Mới hơn phiên bản (từ 0.16.1 trên) hỗ trợ này trực tiếp: http://pandas.pydata.org/pandas-docs/stable/generated/pandas.DataFrame.sample.html

Answer 2

Tôi đã phát hiện ra rằng np.random.choice() mới trong NumPy 1.7.0 công trình khá tốt cho điều này.

Ví dụ: bạn có thể chuyển giá trị chỉ mục từ một DataFrame và số nguyên 10 để chọn 10 hàng được lấy mẫu ngẫu nhiên thống nhất.

rows = np.random.choice(df.index.values, 10) 
sampled_df = df.ix[rows] 

Answer 3

Nếu bạn đang sử dụng gấu trúc.read_csv bạn có thể trực tiếp lấy mẫu khi tải dữ liệu bằng cách sử dụng thông số bỏ qua. Đây là một bài viết ngắn tôi đã viết về điều này - https://nikolaygrozev.wordpress.com/2015/06/16/fast-and-simple-sampling-in-pandas-when-loading-data-from-files/

Answer 4

Pandas 0.16.1 có phương thức sample cho điều đó.

Answer 5

mới trong phiên bản 0.16.1:

sample_dataframe = your_dataframe.sample(n=how_many_rows_you_want) 

doc ở đây: http://pandas.pydata.org/pandas-docs/version/0.17.0/generated/pandas.DataFrame.sample.html