Lọc tệp trong một thư mục rất lớn

Question

Tôi có một thư mục chứa 100k tệp văn bản. Tôi muốn đặt các tập tin với hơn 20 dòng trong một thư mục khác. Làm thế nào để làm điều này trong python? Tôi đã sử dụng os.listdir, nhưng tất nhiên, không đủ bộ nhớ để tải các tên tập tin vào bộ nhớ. Có cách nào để lấy 100 tên tập tin cùng một lúc không?

Dưới đây là mã của tôi:

import os 
import shutil 

dir = '/somedir/' 

def file_len(fname): 
    f = open(fname,'r') 
    for i, l in enumerate(f): 
     pass 
    f.close() 
    return i + 1 

filenames = os.listdir(dir+'labels/') 

i = 0 
for filename in filenames: 
    flen = file_len(dir+'labels/'+filename) 
    print flen 
    if flen > 15: 
     i = i+1 
     shutil.copyfile(dir+'originals/'+filename[:-5], dir+'filteredOrigs/'+filename[:-5]) 
print i 

Và Output:

Traceback (most recent call last): 
    File "filterimage.py", line 13, in <module> 
    filenames = os.listdir(dir+'labels/') 
OSError: [Errno 12] Cannot allocate memory: '/somedir/' 

Dưới đây là kịch bản biến đổi:

import os 
import shutil 
import glob 

topdir = '/somedir' 

def filelen(fname, many): 
    f = open(fname,'r') 
    for i, l in enumerate(f): 
     if i > many: 
      f.close() 
      return True 
    f.close() 
    return False 

path = os.path.join(topdir, 'labels', '*') 
i=0 
for filename in glob.iglob(path): 
    print filename 
    if filelen(filename,5): 
     i += 1 
print i 

nó hoạt động trên một thư mục với các file ít hơn, nhưng với sự lớn thư mục, tất cả nó in là "0" ... Hoạt động trên máy chủ Linux, in 0 trên máy Mac ... ồ ...

Answer 1

bạn có thể thử sử dụng glob.iglob mà trả về một iterator:

topdir = os.path.join('/somedir', 'labels', '*') 
for filename in glob.iglob(topdir): 
    if filelen(filename) > 15: 
      #do stuff 

Ngoài ra, xin vui lòng không sử dụng dir cho một tên biến: bạn đang shadowing built-in.

Một cải tiến quan trọng khác mà bạn có thể giới thiệu là chức năng filelen của bạn. Nếu bạn thay thế nó bằng những điều sau đây, bạn sẽ tiết kiệm rất nhiều thời gian. Hãy tin tôi, what you have now is the slowest alternative:

def many_line(fname, many=15): 
    for i, line in enumerate(open(fname)): 
     if i > many: 
      return True 
    return False 

Answer 2

import os,shutil 
os.chdir("/mydir/") 
numlines=20 
destination = os.path.join("/destination","dir1") 
for file in os.listdir("."): 
    if os.path.isfile(file): 
     flag=0 
     for n,line in enumerate(open(file)): 
      if n > numlines: 
       flag=1 
       break 
     if flag: 
      try: 
       shutil.move(file,destination) 
      except Exception,e: print e 
      else: 
       print "%s moved to %s" %(file,destination) 

Answer 3

Một vài suy nghĩ. Trước tiên, bạn có thể sử dụng mô-đun glob để nhận các nhóm tệp nhỏ hơn. Thứ hai, sắp xếp theo số dòng sẽ tốn rất nhiều thời gian, vì bạn phải mở mọi tệp và đếm các dòng. Nếu bạn có thể phân vùng theo số byte, bạn có thể tránh mở tệp bằng cách sử dụng mô-đun stat. Nếu điều quan trọng là sự phân chia xảy ra ở 20 dòng, bạn ít nhất có thể cắt ra các tệp lớn bằng cách tìm ra số ký tự tối thiểu mà một tệp 20 dòng thuộc loại của bạn sẽ có và không mở bất kỳ tệp nào nhỏ hơn.

Answer 4

cách sử dụng tập lệnh shell? bạn có thể chọn một tập tin tại một thời điểm:

for f in `ls`; 
loop 
if `wc -l f`>20; then 
    mv f newfolder 
fi 
end loop 

ppl hãy sửa lại nếu tôi đã sai lầm trong bất kỳ cách nào

Answer 5

Câu trả lời chấp nhận hiện nay chỉ đơn giản không hoạt động. Chức năng này:

def many_line(fname, many=15): 
    for i, line in enumerate(line): 
     if i > many: 
      return True 
    return False 

có hai vấn đề: Thứ nhất, fname arg không được sử dụng và tệp không được mở. Thứ hai, cuộc gọi đến enumerate(line) sẽ không thành công vì line không được xác định.

Thay đổi enumerate(line) thành enumerate(open(fname)) sẽ khắc phục.