os.walk nhiều thư mục cùng một lúc

Question

thể trùng lặp:
How to join two generators in Python?

Có cách nào trong python sử dụng os.walk phải đi qua nhiều thư mục cùng một lúc?

my_paths = [] 
path1 = '/path/to/directory/one/' 
path2 = '/path/to/directory/two/' 
for path, dirs, files in os.walk(path1, path2): 
    my_paths.append(dirs) 

Ví dụ trên không hoạt động (như os.walk chỉ chấp nhận một thư mục), nhưng tôi hy vọng có một giải pháp thanh lịch hơn là gọi os.walk hai lần (sau đó tôi có thể sắp xếp tất cả Một lần). Cảm ơn.

Answer 1

Để điều trị bội iterables như một, sử dụng itertools.chain:

from itertools import chain 

paths = ('/path/to/directory/one/', '/path/to/directory/two/', 'etc.', 'etc.') 
for path, dirs, files in chain.from_iterable(os.walk(path) for path in paths): 

Answer 2

Sử dụng itertools.chain().

for path, dirs, files in itertools.chain(os.walk(path1), os.walk(path2)): 
    my_paths.append(dirs) 

Answer 3

Những người khác đã đề cập itertools.chain.

Ngoài ra còn có tùy chọn chỉ làm tổ một cấp hơn:

my_paths = [] 
for p in ['/path/to/directory/one/', '/path/to/directory/two/']: 
    for path, dirs, files in os.walk(p): 
     my_paths.append(dirs) 

Answer 4

vì không ai đề cập đến nó, trong này hoặc các bài tham khảo khác:

http://docs.python.org/library/multiprocessing.html

>>> from multiprocessing import Pool 
>>> p = Pool(5) 
>>> def f(x): 
...  return x*x 
... 
>>> p.map(f, [1,2,3]) 

trong trường hợp này , bạn sẽ có danh sách các thư mục. cuộc gọi đến bản đồ sẽ trả về danh sách các danh sách từ mỗi thư mục, sau đó bạn có thể chọn làm phẳng nó hoặc giữ kết quả của bạn được nhóm lại

def t(p): 
    my_paths = [] 
    for path, dirs, files in os.walk(p): 
     my_paths.append(dirs) 


paths = ['p1','p2','etc'] 
p = Pool(len(paths)) 
dirs = p.map(t,paths)