Python: Đọc số lượng lớn các dòng từ stdin

Question

Tôi đang cố gắng đọc một số lượng lớn các dòng từ đầu vào chuẩn với python.

more hugefile.txt | python readstdin.py 

Vấn đề là chương trình bị treo ngay khi tôi đọc chỉ một dòng.

print sys.stdin.read(8) 
exit(1) 

Điều này in 8 byte đầu tiên nhưng sau đó tôi hy vọng nó chấm dứt nhưng không bao giờ. Tôi nghĩ rằng nó không thực sự chỉ đọc các byte đầu tiên nhưng cố gắng để đọc toàn bộ tập tin vào bộ nhớ.

Same vấn đề với sys.stdin.readline()

gì tôi thực sự muốn làm là tất nhiên để đọc tất cả các dòng nhưng với một bộ đệm vì vậy tôi không chạy ra khỏi bộ nhớ.

Tôi đang sử dụng python 2,6

Answer 1

này nên làm việc hiệu quả trong một Python hiện đại:

import sys 

for line in sys.stdin: 
    # do something... 
    print line, 

Bạn có thể chạy các kịch bản như thế này:

python readstdin.py < hugefile.txt 

Answer 2

Back in the day, you had to use xreadlines to get efficient huge line-at-a-time IO - và các tài liệu hiện nay yêu cầu bạn sử dụng for line in file.

Tất nhiên, đây chỉ là trợ giúp nếu bạn thực sự đang làm việc trên từng dòng một. Nếu bạn chỉ đọc các đốm màu nhị phân lớn để truyền vào thứ gì đó khác, thì cơ chế khác của bạn có thể hiệu quả.