Python hết bộ nhớ trên tệp CSV lớn (numpy)

Question

Tôi có tệp CSV 3 GB mà tôi cố gắng đọc bằng python, tôi cần cột trung bình khôn ngoan.

from numpy import * 
def data(): 
    return genfromtxt('All.csv',delimiter=',') 

data = data() # This is where it fails already. 

med = zeros(len(data[0])) 
data = data.T 
for i in xrange(len(data)): 
    m = median(data[i]) 
    med[i] = 1.0/float(m) 
print med 

Các lỗi mà tôi nhận được là:

Python(1545) malloc: *** mmap(size=16777216) failed (error code=12) 

*** error: can't allocate region 

*** set a breakpoint in malloc_error_break to debug 

Traceback (most recent call last): 

    File "Normalize.py", line 40, in <module> 

    data = data() 

    File "Normalize.py", line 39, in data 

    return genfromtxt('All.csv',delimiter=',') 

File "/Library/Frameworks/Python.framework/Versions/2.6/lib/python2.6/site- 
packages/numpy/lib/npyio.py", line 1495, in genfromtxt 

for (i, line) in enumerate(itertools.chain([first_line, ], fhd)): 

MemoryError 

Tôi nghĩ rằng nó chỉ là một trong số lỗi bộ nhớ. Tôi đang chạy một MacOSX 64bit với 4GB ram và cả numpy và Python được biên dịch trong chế độ 64bit.

Làm cách nào để khắc phục sự cố này? Tôi có nên thử một cách tiếp cận phân tán, chỉ để quản lý bộ nhớ?

Cảm ơn

EDIT: Cũng thử với điều này, nhưng không may mắn ...

genfromtxt('All.csv',delimiter=',', dtype=float16) 

Answer 1

Như những người khác đã đề cập, đối với một tệp thực sự lớn, bạn nên tắt lặp lại.

Tuy nhiên, bạn thường muốn toàn bộ nội dung trong bộ nhớ vì nhiều lý do khác nhau.

genfromtxt kém hiệu quả hơn loadtxt (mặc dù nó xử lý dữ liệu bị thiếu, trong khi loadtxt là "gọn gàng và có nghĩa" hơn, đó là lý do hai hàm này cùng tồn tại).

Nếu dữ liệu của bạn rất thường xuyên (ví dụ: chỉ các hàng được phân cách đơn giản của cùng một loại), bạn cũng có thể cải thiện bằng cách sử dụng numpy.fromiter.

Nếu bạn có đủ ram, xem xét sử dụng np.loadtxt('yourfile.txt', delimiter=',') (Bạn cũng có thể cần phải xác định skiprows nếu bạn có một tiêu đề trên các tập tin.)

Là một so sánh nhanh, bốc ~ tập tin văn bản 500MB với loadtxt sử dụng ~ 900MB của ram khi sử dụng cao điểm, trong khi tải cùng một tệp với genfromtxt sử dụng ~ 2.5GB.

Loadtxt

---

Genfromtxt

---

Cách khác, hãy xem xét một cái gì đó như sau. Nó sẽ chỉ làm việc cho dữ liệu rất đơn giản, thường xuyên, nhưng nó khá nhanh. (loadtxt và genfromtxt làm rất nhiều đoán và kiểm tra lỗi. Nếu dữ liệu của bạn rất đơn giản và thường xuyên, bạn có thể cải thiện chúng rất nhiều.)

import numpy as np 

def generate_text_file(length=1e6, ncols=20): 
    data = np.random.random((length, ncols)) 
    np.savetxt('large_text_file.csv', data, delimiter=',') 

def iter_loadtxt(filename, delimiter=',', skiprows=0, dtype=float): 
    def iter_func(): 
     with open(filename, 'r') as infile: 
      for _ in range(skiprows): 
       next(infile) 
      for line in infile: 
       line = line.rstrip().split(delimiter) 
       for item in line: 
        yield dtype(item) 
     iter_loadtxt.rowlength = len(line) 

    data = np.fromiter(iter_func(), dtype=dtype) 
    data = data.reshape((-1, iter_loadtxt.rowlength)) 
    return data 

#generate_text_file() 
data = iter_loadtxt('large_text_file.csv') 

Fromiter

Answer 2

Vấn đề với việc sử dụng genfromtxt() là nó cố gắng để tải toàn bộ tập tin vào bộ nhớ, tức là vào một mảng numpy. Điều này là rất tốt cho các tập tin nhỏ nhưng BAD cho 3GB đầu vào như của bạn. Vì bạn chỉ cần tính toán các cột trung bình, không cần phải đọc toàn bộ tệp. Một cách đơn giản, nhưng không hiệu quả nhất để làm điều đó là đọc toàn bộ từng dòng một tập tin và lặp lại qua các cột.

Answer 3

Tại sao bạn không sử dụng mô-đun python csv?

>> import csv 
>> reader = csv.reader(open('All.csv')) 
>>> for row in reader: 
...  print row