xử lý đầu ra liên tục của lệnh trong python

Question

Tôi là nhãn hiệu mới với python, đã sử dụng perl trong nhiều năm. Một điều điển hình tôi làm tất cả các thời gian là perl là mở một lệnh như một đường ống và gán đầu ra của nó cho một biến địa phương để xử lý. Nói cách khác:

"open CMD, "$command|"; 
$output=<CMD>; 

một miếng bánh. Tôi nghĩ rằng tôi có thể làm điều gì đó tương tự trong python theo cách này:

args=[command, args...] 
process=subprocess.Popen(args, stdout=subprocess.PIPE) 
output=process.communicate() 

cho đến nay rất tốt. Bây giờ cho câu hỏi lớn ...

Nếu tôi tắt lệnh đó bằng ssh trên nhiều nền tảng, tôi có thể theo dõi các bộ mô tả trong perl bên trong một vòng chọn để xử lý các kết quả khi chúng đến. Tôi đã tìm thấy python chọn và mô-đun thăm dò ý kiến ​​nhưng tôi không hoàn toàn chắc chắn làm thế nào để sử dụng chúng. Các tài liệu cho biết thăm dò ý kiến ​​sẽ có một xử lý tập tin, nhưng khi tôi cố gắng vượt qua biến 'quá trình' ở trên để poll.register() Tôi nhận được một lỗi rằng nó phải là một int hoặc có một phương pháp fileno(). Vì Popen() đã sử dụng thiết bị xuất chuẩn, tôi đã thử gọi

poll.register(process.stdout) 

và nó không còn phát ra lỗi, mà thay vào đó chỉ bị treo.

Bất kỳ đề xuất/chỉ dẫn nào về cách tạo ra thứ gì đó giống như tác phẩm này?

Answer 1

Sử dụng select.poll: Bạn cần phải pass objects with a fileno method or real file descriptors (integers):

import os, sys, select, subprocess 

args = ['sh', '-c', 'while true; do date; sleep 2; done'] 
p1 = subprocess.Popen(args, stdout=subprocess.PIPE) 
p2 = subprocess.Popen(args, stdout=subprocess.PIPE) 

while True: 
    rlist, wlist, xlist = select.select([p1.stdout, p2.stdout], [], []) 
    for stdout in rlist: 
     sys.stdout.write(os.read(stdout.fileno(), 1024)) 

Bạn sẽ thấy nó dừng lại mỗi hai giây và sau đó sản xuất ra nhiều hơn vì nó đi kèm sẵn. "Bí quyết" là p1.stdout là một đối tượng giống như tệp bình thường với phương thức fileno trả về số mô tả tệp. Đây là tất cả những gì cần thiết bởi select.

Lưu ý rằng tôi đang đọc từ stdout sử dụng os.read thay vì chỉ cần gọi stdout.read. Điều này là do một cuộc gọi như stdout.read(1024) sẽ làm cho chương trình của bạn chờ cho đến khi số byte được yêu cầu đã được đọc. Ít byte hơn chỉ được trả về khi đạt được EOF, nhưng vì không bao giờ đạt được EOF, cuộc gọi stdout.read sẽ chặn cho đến khi đọc ít nhất 1024 byte.

Chức năng này không giống như chức năng os.read, không có gì phải trả về sớm khi có ít byte hơn - nó trả về ngay lập tức với những gì có sẵn. Nói cách khác, nhận được ít hơn 1024 byte trở lại từ os.read(stdout.fileno(), 1024) không phải là dấu hiệu cho thấy stdout đã bị đóng.

Sử dụng select.epoll là gần như giống hệt nhau, ngoại trừ việc bạn có được một "thô" mô tả tập tin (FD) trở lại mà bạn cần os.read để có thể đọc từ:

import os, sys, select, subprocess 

args = ['sh', '-c', 'while true; do date; sleep 2; done'] 
p1 = subprocess.Popen(args, stdout=subprocess.PIPE) 
p2 = subprocess.Popen(args, stdout=subprocess.PIPE) 

poll = select.poll() 
poll.register(p1.stdout) 
poll.register(p2.stdout) 

while True: 
    rlist = poll.poll() 
    for fd, event in rlist: 
     sys.stdout.write(os.read(fd, 1024)) 

Một đóng FD được đánh dấu bằng các select.POLLHUP sự kiện được trả lại. Sau đó bạn có thể gọi phương thức unregister và cuối cùng thoát khỏi vòng lặp khi tất cả các FD được đóng lại. Cuối cùng, hãy để tôi lưu ý rằng tất nhiên bạn có thể tạo một từ điển với ánh xạ từ các bộ mô tả tập tin về các đối tượng giống như tập tin, và do đó trở lại các tiến trình bạn đã khởi chạy.

Answer 2

import subprocess 

p = subprocess.Popen('apt-get autoclean', stdout=subprocess.PIPE, stderr = None, shell=True) 

for line in iter(p.stdout.readline, ''): 

    print line 

p.stdout.flush() 
p.stdout.close() 

print ("Done")