Làm cách nào để khai báo thời gian chờ bằng cách sử dụng urllib2 trên Google App Engine?

Question

Tôi biết rằng urllib2 có sẵn trên Google App Engine dưới dạng trình bao bọc của Urlfetch và, như bạn biết, Universal Feedparser sử dụng urllib2.

Bạn có biết phương pháp nào để đặt thời gian chờ trên urllib2 không?
Thông số timeout trên urllib2 đã được chuyển trên phiên bản Google App Engine chưa?

Tôi không quan tâm đến phương pháp như:

rssurldata = urlfetch(rssurl, deadline=..) 
feedparser.parse(rssurldata) 

Answer 1

Không có cách nào đơn giản để thực hiện việc này, vì trình bao bọc không cung cấp cách để vượt qua giá trị hết thời gian chờ theo sự hiểu biết tốt nhất của tôi. Một tùy chọn hackish sẽ là monkeypatch API urlfetch:

old_fetch = urlfetch.fetch 
def new_fetch(url, payload=None, method=GET, headers={}, 
      allow_truncated=False, follow_redirects=True, 
      deadline=10.0, *args, **kwargs): 
    return old_fetch(url, payload, method, headers, allow_truncated, 
        follow_redirects, deadline, *args, **kwargs) 
urlfetch.fetch = new_fetch 

Answer 2

Bạn đã cố gắng thiết lập giá trị timeout ổ cắm? Lấy từ here:

Kể từ Python 2.3, bạn có thể chỉ định khoảng thời gian một ổ cắm sẽ đợi phản hồi trước khi hết thời gian. Điều này có thể hữu ích trong các ứng dụng phải tìm nạp các trang web. Theo mặc định, mô-đun ổ cắm không có thời gian chờ và có thể treo. Hiện tại, thời gian chờ của ổ cắm không được phơi bày ở mức độ httplib hoặc urllib2. Tuy nhiên, bạn có thể đặt thời gian chờ mặc định trên toàn cầu cho tất cả các ổ cắm bằng cách sử dụng:

import socket 
import urllib2 

# timeout in seconds 
timeout = 10 
socket.setdefaulttimeout(timeout) 

# this call to urllib2.urlopen now uses the default timeout 
# we have set in the socket module 
req = urllib2.Request('http://www.voidspace.org.uk') 
response = urllib2.urlopen(req) 

Tôi không chắc liệu GAE có đọc giá trị này hay không nhưng nó đáng giá!

Edit:

urllib2 có khả năng để vượt qua một tham số thời gian chờ:

Thời gian chờ tùy chọn tham số quy định cụ thể một thời gian chờ trong vài giây cho hoạt động ngăn chặn như nỗ lực kết nối (nếu không quy định, cài đặt thời gian chờ mặc định toàn cầu sẽ được sử dụng). Điều này thực sự chỉ hoạt động cho các kết nối HTTP, HTTPS, FTP và FTPS .

Answer 3

Tôi thích điều này. Việc cập nhật API GAE linh hoạt hơn.

# -*- coding: utf-8 -*- 
from google.appengine.api import urlfetch 

import settings 


def fetch(*args, **kwargs): 
    """ 
    Base fetch func with default deadline settings 
    """ 
    fetch_kwargs = { 
     'deadline': settings.URL_FETCH_DEADLINE 
    } 
    fetch_kwargs.update(kwargs) 
    return urlfetch.fetch(
     *args, **fetch_kwargs 
    ) 

Answer 4

Bạn có thể thiết lập thời hạn mặc định đó là cách ưa thích:

from google.appengine.api import urlfetch 
import urllib, urllib2 


class MyClass(): 

    def __init__(self): 
     urlfetch.set_default_fetch_deadline(10) 

Tôi có một cái mở Tôi sử dụng của urllib2 cho phép các CookieJar, nhưng bạn có thể sau đó chỉ cần làm yêu cầu đơn giản

response = self.opener.open(self.url_login, data_encoded) 

bạn có thể dễ dàng nhìn thấy hiệu quả nếu bạn thiết lập thời hạn cuối cùng để 0.1