Làm cách nào để xóa các dòng khỏi một tệp lớn bằng Python, trong môi trường giới hạn

Question

Giả sử tôi có ổ cứng HDD Ubuntu 10GB ở Hoa Kỳ (và tôi sống ở một nơi khác) và tôi có tệp văn bản 9 GB trên ổ cứng . Tôi có 512MB RAM, và khoảng cùng một lượng trao đổi. Với một thực tế là tôi không thể thêm nhiều không gian HDD và không thể di chuyển tệp đến một nơi khác để xử lý, có phương pháp hiệu quả để xóa một số dòng khỏi tệp bằng Python hay không. ?

Answer 1

Làm thế nào về điều này? Nó chỉnh sửa các tập tin tại chỗ. Tôi đã thử nghiệm nó trên một số tập tin văn bản nhỏ (trong Python 2.6.1), nhưng tôi không chắc chắn như thế nào nó sẽ thực hiện trên các tập tin lớn vì tất cả các nhảy xung quanh, nhưng vẫn ...

I ' đã sử dụng một vòng lặp không xác định trong khi kiểm tra EOF bằng tay, vì for line in f: không hoạt động chính xác (có lẽ tất cả các bước nhảy lộn xộn xung quanh sự lặp lại bình thường). Có thể có cách tốt hơn để kiểm tra điều này, nhưng tôi tương đối mới với Python, vì vậy ai đó vui lòng cho tôi biết nếu có.

Ngoài ra, bạn cần xác định hàm isRequired(line).

writeLoc = 0 
readLoc = 0 
with open("filename" , "r+") as f: 
    while True: 
     line = f.readline() 

     #manual EOF check; not sure of the correct 
     #Python way to do this manually... 
     if line == "": 
      break 

     #save how far we've read 
     readLoc = f.tell() 

     #if we need this line write it and 
     #update the write location 
     if isRequired(line): 
      f.seek(writeLoc) 
      f.write(line) 
      writeLoc = f.tell() 
      f.seek(readLoc) 

    #finally, chop off the rest of file that's no longer needed 
    f.truncate(writeLoc) 

Answer 2

Chỉ đọc tuần tự và ghi vào tệp.

f.readlines() trả về danh sách chứa tất cả các dòng dữ liệu trong tệp. Nếu được cung cấp một kích thước tham số tùy chọn , nó đọc nhiều số byte từ tệp và đủ hơn để hoàn thành một dòng và trả về các dòng từ đó. Điều này thường được sử dụng để cho phép đọc hiệu quả tệp lớn theo số dòng, nhưng không phải tải toàn bộ tệp toàn bộ tệp trong bộ nhớ. Chỉ hoàn thành dòng mới sẽ được trả lại.

Source

Answer 3

Process file nhận được 10/20 trở lên MB bộ khối. Đây sẽ là cách nhanh nhất.

Cách khác để làm điều này là phát trực tuyến tệp này và lọc tệp bằng AWK chẳng hạn.

dụ mã giả:

file = open(rw) 
linesCnt=50 
newReadOffset=0 
tmpWrtOffset=0 
rule=1 
processFile() 
{ 
    while(rule) 
    { 
     (lines,newoffset)=getLines(file, newReadOffset) 
     if lines: 
      [x for line in lines if line==cool: line] 
      tmpWrtOffset = writeBackToFile(file, x, tmpWrtOffset) #should return new offset to write for the next time 
     else: 
      rule=0 
    } 
} 

Để thay đổi kích thước tập tin tại việc sử dụng cuối truncate(size=None)

Answer 4

Hãy thử điều này:

currentReadPos = 0 
removedLinesLength = 0 
for line in file: 
    currentReadPos = file.tell() 
    if remove(line): 
     removedLinesLength += len(line) 
    else: 
     file.seek(file.tell() - removedLinesLength) 
     file.write(line + "\n") 
     file.flush() 
    file.seek(currentReadPos) 

tôi đã không chạy này, nhưng ý tưởng là để thay đổi tệp bằng cách ghi đè các dòng bạn muốn xóa bằng các dòng bạn muốn giữ lại. Tôi không chắc chắn cách tìm kiếm và sửa đổi tương tác với việc lặp qua tệp.

Answer 5

Cập nhật:

Tôi đã thử fileinput với inplace bằng cách tạo ra một tập tin 1GB. Những gì tôi mong đợi khác với những gì đã xảy ra. Tôi đọc tài liệu đúng lúc này.

Tùy chọn lọc inplace: nếu đối số inplace keyword = 1 được truyền để fileinput.input() hoặc đến FileInput constructor, các tập tin là chuyển đến một tập tin sao lưu và chuẩn đầu ra là hướng đến tệp đầu vào (nếu tệp có cùng tên với tệp sao lưu đã tồn tại, nó sẽ được thay thế một cách im lặng) .

từ docs/fileinput

Vì vậy, điều này dường như không là một lựa chọn ngay bây giờ cho bạn. Vui lòng kiểm tra các câu trả lời khác.

---

Trước Edit:

Nếu bạn đang tìm kiếm để chỉnh sửa các tập tin inplace, sau đó kiểm tra fileinput mô-đun Python - Docs.

Tôi thực sự không chắc chắn về hiệu quả của nó khi được sử dụng với tệp 10gb. Nhưng, với tôi, điều này dường như là lựa chọn duy nhất bạn có sử dụng Python.