rất nhanh chóng nhận được tổng kích thước của thư mục

Question

Tôi muốn nhanh chóng tìm thấy tổng kích thước của bất kỳ thư mục nào bằng cách sử dụng python.

import os 
from os.path import join, getsize, isfile, isdir, splitext 
def GetFolderSize(path): 
    TotalSize = 0 
    for item in os.walk(path): 
     for file in item[2]: 
      try: 
       TotalSize = TotalSize + getsize(join(item[0], file)) 
      except: 
       print("error with file: " + join(item[0], file)) 
    return TotalSize 
print(float(GetFolderSize("C:\\")) /1024 /1024 /1024) 

Đó là tập lệnh đơn giản tôi đã viết để nhận được tổng kích thước của thư mục, mất khoảng 60 giây (+ -5 giây). Bằng cách sử dụng đa xử lý tôi đã nhận nó xuống đến 23 giây trên một máy lõi tứ.

Sử dụng trình khám phá tệp Windows chỉ mất ~ 3 giây (Nhấp chuột phải-> thuộc tính để xem cho chính bạn). Vì vậy, có một cách nhanh hơn để tìm tổng kích thước của một thư mục gần với tốc độ mà các cửa sổ có thể làm điều đó?

Windows 7, python 2.6 (Đã tìm kiếm nhưng phần lớn thời gian mọi người sử dụng một phương pháp rất giống với phương pháp của riêng tôi) Cảm ơn bạn trước.

Answer 1

Bạn đang ở thế bất lợi.

Windows Explorer gần như chắc chắn sử dụng FindFirstFile/FindNextFile cho cả hai đi qua cấu trúc thư mục và thông tin kích thước thu thập (thông qua lpFindFileData) trong một vượt qua, làm những gì bản chất là một cuộc gọi hệ thống duy nhất cho mỗi tập tin.

Thật không may, Python không phải là bạn của bạn trong trường hợp này.Như vậy,

1. os.walkcuộc gọi đầu tiên os.listdir (mà trong nội bộ gọi FindFirstFile/FindNextFile)
   • bất kỳ cuộc gọi hệ thống thêm làm từ thời điểm này trở đi chỉ có thể làm cho bạn chậm hơn so với Windows Explorer
2. os.walkrồi gọi isdir cho mỗi tập tin được trả về bởi os.listdir (mà trong nội bộ gọi GetFileAttributesEx - hoặc, trước khi Win2k, một GetFileAttributes + FindFirstFile kết hợp) để redetermine liệu để recurse hay không
3. os.walk và os.listdir sẽ thực hiện thêm phân bổ bộ nhớ, chuỗi và mảng hoạt động vv để điền giá trị trả về của họ
4. bạn sau đó gọi getsize cho mỗi tập tin được trả về bởi os.walk (mà lại cuộc gọi GetFileAttributesEx)

Đó là nhiều hơn 3 lần cuộc gọi hệ thống trên mỗi tệp so với Windows Explorer, cộng với phân bổ bộ nhớ và thao tác trên không.

Bạn có thể sử dụng giải pháp Anurag, hoặc cố gắng gọi FindFirstFile/FindNextFile trực tiếp và đệ quy (mà phải được so sánh với hiệu suất của một cygwin hoặc khác win32 portdu -s some_directory.)

Tham khảo os.py cho việc thực hiện các os.walk , posixmodule.c thi hành listdir và win32_stat (gọi bởi cả isdir và getsize.)

Lưu ý rằng Python của os.walk là tối ưu trên tất cả các nền tảng (Windows và * nices), tối đa và bao gồm Python3.1. Trên cả Windows và * nices os.walk có thể đạt được traversal trong một lần mà không gọi isdir vì cả hai FindFirst/FindNext (Windows) và opendir/readdir (* nix) đã trở lại loại tập tin thông qua lpFindFileData->dwFileAttributes (Windows) và dirent::d_type (* nix).

lẽ counterintuitively, trên hầu hết các cấu hình hiện đại (ví dụ Win7 và NTFS, và thậm chí một số triển khai SMB) GetFileAttributesEx là hai lần chậm như FindFirstFile của một tập tin duy nhất (thậm chí có thể chậm hơn so với iterating trên một thư mục với FindNextFile.)

Cập nhật: Python 3.5 bao gồm hàm PEP 471os.scandir() mới giải quyết được vấn đề này bằng cách trả lại thuộc tính tệp cùng với tên tệp. Chức năng mới này được sử dụng để tăng tốc độ tích hợp sẵn trong os.walk() (trên cả Windows và Linux). Bạn có thể sử dụng scandir module on PyPI để nhận hành vi này cho các phiên bản Python cũ hơn, bao gồm 2.x.

Answer 2

Nếu bạn muốn tốc độ tương tự như trình thám hiểm, tại sao không sử dụng kịch bản cửa sổ để truy cập cùng chức năng bằng pythoncom, ví dụ:

import win32com.client as com 

folderPath = r"D:\Software\Downloads" 
fso = com.Dispatch("Scripting.FileSystemObject") 
folder = fso.GetFolder(folderPath) 
MB = 1024 * 1024.0 
print("%.2f MB" % (folder.Size/MB)) 

Nó sẽ hoạt động giống như trình thám hiểm, bạn có thể đọc thêm về Thời gian chạy tập lệnh tại http://msdn.microsoft.com/en-us/library/bstcxhf7(VS.85).aspx.

Answer 3

Tôi đã so sánh hiệu suất của mã Python với cây thư mục 15k chứa các tệp 190k và so sánh với lệnh du(1) có thể diễn ra nhanh như hệ điều hành. Mã Python mất 3,3 giây so với du mất 0,8 giây. Đây là trên Linux.

Tôi không chắc chắn có nhiều điều để ép ra khỏi mã Python. Cũng lưu ý rằng lần chạy đầu tiên của du mất 45 giây mà rõ ràng là trước khi các nút i có liên quan nằm trong bộ nhớ cache khối; do đó hiệu suất này phụ thuộc nhiều vào hệ thống quản lý cửa hàng của mình tốt đến mức nào. Nó sẽ không ngạc nhiên nếu một trong hai hoặc cả hai:

1. os.path.getsize là tiểu tối ưu trên Windows
2. của Windows lưu trữ nội dung thư mục kích thước một lần tính