Sử dụng numpy.genfromtxt để đọc tệp csv có chuỗi chứa dấu phẩy

Question

Tôi đang cố gắng đọc tệp csv với numpy.genfromtxt nhưng một số trường là chuỗi chứa dấu phẩy. Các chuỗi nằm trong dấu ngoặc kép, nhưng không rõ ràng là không nhận ra các dấu ngoặc kép như định nghĩa một chuỗi đơn. Ví dụ, với các dữ liệu trong 't.csv':

2012, "Louisville KY", 3.5 
2011, "Lexington, KY", 4.0 

mã

np.genfromtxt('t.csv', delimiter=',') 

tạo ra lỗi:

ValueError: Some errors were detected ! Line #2 (got 4 columns instead of 3)

Cấu trúc dữ liệu tôi đang tìm kiếm là:

array([['2012', 'Louisville KY', '3.5'], 
     ['2011', 'Lexington, KY', '4.0']], 
     dtype='|S13') 

Nhìn qua tài liệu, tôi không thấy bất kỳ tùy chọn nào để giải quyết vấn đề này. Có cách nào để làm nó với numpy, hoặc tôi chỉ cần đọc dữ liệu với các mô-đun csv và sau đó chuyển đổi nó vào một mảng numpy?

Answer 1

Bạn có thể sử dụng pandas (thư viện mặc định trở thành để làm việc với các khung dữ liệu (dữ liệu không đồng nhất) trong python khoa học) cho việc này. Đó là read_csv có thể xử lý việc này. Từ tài liệu:

quotechar : string

The character to used to denote the start and end of a quoted item. Quoted items 
can include the delimiter and it will be ignored. 

Giá trị mặc định là ". Ví dụ:

In [1]: import pandas as pd 

In [2]: from StringIO import StringIO 

In [3]: s="""year, city, value 
    ...: 2012, "Louisville KY", 3.5 
    ...: 2011, "Lexington, KY", 4.0""" 

In [4]: pd.read_csv(StringIO(s), quotechar='"', skipinitialspace=True) 
Out[4]: 
    year   city value 
0 2012 Louisville KY 3.5 
1 2011 Lexington, KY 4.0 

Bí quyết ở đây là bạn cũng phải sử dụng skipinitialspace=True để xử lý dấu cách sau dấu phẩy. Ngoài một trình đọc csv mạnh mẽ, tôi cũng có thể khuyên bạn nên sử dụng gấu trúc với dữ liệu không đồng nhất mà bạn có (kết quả ví dụ về việc bạn cung cấp tất cả các chuỗi, mặc dù bạn có thể sử dụng mảng có cấu trúc).

Answer 2

Sự cố với dấu phẩy bổ sung, np.genfromtxt không giải quyết được điều đó.

Một giải pháp đơn giản là đọc tệp với csv.reader() từ mô-đun csv của python vào danh sách và sau đó đổ nó vào một mảng có nhiều mảng nếu bạn muốn.

Nếu bạn thực sự muốn sử dụng np.genfromtxt, lưu ý rằng nó có thể mất trình vòng lặp thay vì tệp, ví dụ: np.genfromtxt(my_iterator, ...). Vì vậy, bạn có thể quấn một csv.reader trong một trình lặp và đưa nó đến np.genfromtxt.

Đó sẽ đi một cái gì đó như thế này:

import csv 
import numpy as np 

np.genfromtxt(("\t".join(i) for i in csv.reader(open('myfile.csv'))), delimiter="\t") 

này về cơ bản thay thế on-the-fly chỉ dấu phẩy thích hợp với các tab.

Answer 3

Nếu bạn đang sử dụng numpy, bạn có thể muốn làm việc với numpy.ndarray. Điều này sẽ cung cấp cho bạn một numpy.ndarray:

import pandas 
data = pandas.read_csv('file.csv').as_matrix() 

Pandas sẽ xử lý các "Lexington, KY" trường hợp một cách chính xác

Answer 4

Thực hiện một chức năng tốt hơn mà kết hợp sức mạnh của tiêu chuẩn csv module và NumPy của recfromcsv.Ví dụ, mô-đun csv có kiểm soát tốt và tùy chỉnh các phương ngữ, dấu ngoặc kép, ký tự thoát, v.v., mà bạn có thể thêm vào ví dụ bên dưới.

Hàm ví dụ genfromcsv_mod dưới đây đọc trong tệp CSV phức tạp tương tự như những gì Microsoft Excel thấy, có thể chứa dấu phẩy trong các trường được trích dẫn. Bên trong, hàm có một hàm máy phát điện viết lại mỗi hàng với các dấu phân tách tab.

import csv 
import numpy as np 

def recfromcsv_mod(fname, **kwargs): 
    def rewrite_csv_as_tab(fname): 
     with open(fname, 'rb') as fp: 
      reader = csv.reader(fp) 
      for row in reader: 
       yield '\t'.join(row) 
    return np.recfromcsv(rewrite_csv_as_tab(fname), delimiter='\t', **kwargs) 

# Use it to read a CSV file into a record array 
x = recfromcsv_mod('t.csv', case_sensitive=True)