Lặp lại một số lượng lớn các tệp trong một thư mục

Question

Cách nhanh nhất để lặp qua tất cả các tệp trong thư mục bằng NTFS và Windows 7 khi filecount trong thư mục lớn hơn 2.500.000 là gì? Tất cả các tệp đều bằng phẳng trong thư mục cấp cao nhất.

Hiện nay tôi sử dụng

for root, subFolders, files in os.walk(rootdir): 
    for file in files: 
     f = os.path.join(root,file) 
     with open(f) as cf: 
      [...] 

nhưng nó là rất rất chậm. Quá trình này đã được chạy trong khoảng một giờ và vẫn chưa xử lý một tệp nhưng vẫn phát triển với khoảng 2kB Dung lượng bộ nhớ mỗi giây.

Answer 1

Theo mặc định đi bộ thư mục từ dưới lên trên. Nếu bạn có một cây sâu với nhiều lá, tôi đoán điều này có thể để lại các hình phạt biểu diễn - hoặc ít nhất là tăng thời gian "statup", vì walk phải đọc nhiều dữ liệu trước khi xử lý tệp đầu tiên.

Tất cả điều này là suy đoán, có bạn đã cố gắng để buộc một cuộc thám hiểm từ trên xuống:

for root, subFolders, files in os.walk(rootdir, topdown=True): 
    ... 

---

EDIT:

Như các tập tin dường như trong một thư mục bằng phẳng, có lẽ glob.iglob có thể để lại hiệu suất tốt hơn bằng cách trả về một trình lặp (trong khi các phương thức khác như os.walk, os.listdir hoặc glob.glob xây dựng trước tiên danh sách của tất cả các tệp). Bạn có thể thử một cái gì đó như thế:

import glob 

# ... 
for infile in glob.iglob(os.path.join(rootdir, '*.*')): 
    # ...