zip() thay thế cho lặp qua hai lần lặp

Question

Tôi có hai tệp văn bản lớn (~ 100 GB) phải được lặp lại thông qua cùng một lúc.

Zip hoạt động tốt cho các tệp nhỏ hơn nhưng tôi phát hiện ra rằng nó thực sự tạo danh sách các dòng từ hai tệp của tôi. Điều này có nghĩa là mọi dòng được lưu trữ trong bộ nhớ. Tôi không cần phải làm bất cứ điều gì với các dòng hơn một lần.

handle1 = open('filea', 'r'); handle2 = open('fileb', 'r') 

for i, j in zip(handle1, handle2): 
    do something with i and j. 
    write to an output file. 
    no need to do anything with i and j after this. 

Có cách nào khác để zip() hoạt động như một trình tạo cho phép tôi lặp qua hai tệp này mà không sử dụng> 200 GB RAM không?

Answer 1

itertools có chức năng izip nào đó

from itertools import izip 
for i, j in izip(handle1, handle2): 
    ... 

Nếu các tập tin có kích thước khác nhau mà bạn có thể sử dụng izip_longest, như izip sẽ dừng lại ở tập tin nhỏ hơn.

Answer 2

Một cái gì đó như thế này? Wordy, nhưng nó có vẻ là những gì bạn đang yêu cầu.

Nó có thể được điều chỉnh để thực hiện những việc như hợp nhất phù hợp để khớp các phím giữa hai tệp, thường là những gì cần thiết hơn chức năng zip đơn giản. Ngoài ra, điều này không cắt ngắn, đó là những gì các thuật toán SQL OUTER JOIN, một lần nữa, khác với những gì zip hiện và điển hình hơn của các tập tin.

with open("file1","r") as file1: 
    with open("file2", "r" as file2: 
     for line1, line2 in parallel(file1, file2): 
      process lines 

def parallel(file1, file2): 
    if1_more, if2_more = True, True 
    while if1_more or if2_more: 
     line1, line2 = None, None # Assume simplistic zip-style matching 
     # If you're going to compare keys, then you'd do that before 
     # deciding what to read. 
     if if1_more: 
      try: 
       line1= file1.next() 
      except StopIteration: 
       if1_more= False 
     if if2_more: 
      try: 
       line2= file2.next() 
      except StopIteration: 
       if2_more= False 
     yield line1, line2 

Answer 3

Nếu bạn muốn cắt ngắn đến tập tin ngắn:

handle1 = open('filea', 'r') 
handle2 = open('fileb', 'r') 

try: 
    while 1: 
     i = handle1.next() 
     j = handle2.next() 

     do something with i and j. 
     write to an output file. 

except StopIteration: 
    pass 

finally: 
    handle1.close() 
    handle2.close() 

khác

handle1 = open('filea', 'r') 
handle2 = open('fileb', 'r') 

i_ended = False 
j_ended = False 
while 1: 
    try: 
     i = handle1.next() 
    except StopIteration: 
     i_ended = True 
    try: 
     j = handle2.next() 
    except StopIteration: 
     j_ended = True 

     do something with i and j. 
     write to an output file. 
    if i_ended and j_ended: 
     break 

handle1.close() 
handle2.close() 

Hoặc

handle1 = open('filea', 'r') 
handle2 = open('fileb', 'r') 

while 1: 
    i = handle1.readline() 
    j = handle2.readline() 

    do something with i and j. 
    write to an output file. 

    if not i and not j: 
     break 
handle1.close() 
handle2.close() 

Answer 4

Bạn có thể sử dụng izip_longest như thế này để pad file ngắn hơn với các dòng trống

trong python 2,6

from itertools import izip_longest 
with handle1 as open('filea', 'r'): 
    with handle2 as open('fileb', 'r'): 
     for i, j in izip_longest(handle1, handle2, fillvalue=""): 
      ... 

hoặc trong python3.1

from itertools import izip_longest 
with handle1 as open('filea', 'r'), handle2 as open('fileb', 'r'): 
    for i, j in izip_longest(handle1, handle2, fillvalue=""): 
     ... 

Answer 5

Đối python3, izip_longest thực sự là zip_longest.

from itertools import zip_longest 

for i, j in izip(handle1, handle2): 
    ...