Làm cách nào để thêm thời gian chờ kết nối với asyncio?

Question

Tôi muốn kết nối với một danh sách nhiều trang web khác nhau rất nhanh. Im sử dụng asyncio để thực hiện việc này theo cách không đồng bộ và bây giờ muốn thêm thời gian chờ cho thời điểm kết nối sẽ bị bỏ qua nếu mất quá nhiều thời gian để phản hồi.

Làm cách nào để triển khai tính năng này?

import ssl 
import asyncio 
from contextlib import suppress 
from concurrent.futures import ThreadPoolExecutor 
import time 


@asyncio.coroutine 
def run(): 
    while True: 
     host = yield from q.get() 
     if not host: 
      break 

     with suppress(ssl.CertificateError): 
      reader, writer = yield from asyncio.open_connection(host[1], 443, ssl=True) #timout option? 
      reader.close() 
      writer.close() 


@asyncio.coroutine 
def load_q(): 
    # only 3 entries for debugging reasons 
    for host in [[1, 'python.org'], [2, 'qq.com'], [3, 'google.com']]: 
     yield from q.put(host) 
    for _ in range(NUM): 
     q.put(None) 


if __name__ == "__main__": 
    NUM = 1000 
    q = asyncio.Queue() 

    loop = asyncio.get_event_loop() 
    loop.set_default_executor(ThreadPoolExecutor(NUM)) 

    start = time.time() 
    coros = [asyncio.async(run()) for i in range(NUM)] 
    loop.run_until_complete(load_q()) 
    loop.run_until_complete(asyncio.wait(coros)) 
    end = time.time() 
    print(end-start) 

(Trên một sidenote: Có ai đó một ý tưởng làm thế nào để tối ưu hóa này?)

Answer 1

Bạn có thể quấn cuộc gọi đến open_connection trong asyncio.wait_for, cho phép bạn chỉ định một thời gian chờ:

with suppress(ssl.CertificateError): 
     fut = asyncio.open_connection(host[1], 443, ssl=True) 
     try: 
      # Wait for 3 seconds, then raise TimeoutError 
      reader, writer = yield from asyncio.wait_for(fut, timeout=3) 
     except asyncio.TimeoutError: 
      print("Timeout, skipping {}".format(host[1])) 
      continue 

Lưu ý rằng khi TimeoutError được nâng lên, số open_connection coroutine cũng bị hủy. Nếu bạn không muốn nó bị hủy bỏ (mặc dù tôi nghĩ rằng bạn làm muốn nó bị hủy trong trường hợp này), bạn đã kết thúc cuộc gọi theo số asyncio.shield.