Làm thế nào để làm cho Proxy Python xoắn nhanh hơn?

Question

Mã bên dưới là proxy HTTP để lọc nội dung. Nó sử dụng GET để gửi URL của trang web hiện tại đến máy chủ, nơi nó xử lý nó và phản hồi. Nó chạy VERY, VERY, VERY chậm. Bất kỳ ý tưởng về cách làm cho nó nhanh hơn?

Đây là mã:

from twisted.internet import reactor 
from twisted.web import http 
from twisted.web.proxy import Proxy, ProxyRequest 
from Tkinter import * 
#import win32api 
import urllib2 
import urllib 
import os 
import webbrowser 

cwd = os.path.abspath(sys.argv[0])[0] 
proxies = {} 
user = "zachb" 
class BlockingProxyRequest(ProxyRequest): 
    def process(self): 
     params = {} 
     params['Location']= self.uri 
     params['User'] = user 
     params = urllib.urlencode(params) 
     req = urllib.urlopen("http://weblock.zbrowntechnology.info/ProgFiles/stats.php?%s" % params, proxies=proxies) 
     resp = req.read() 
     req.close() 
     if resp == "allow": 
      pass 
     else: 
      self.transport.write('''BLOCKED BY ADMIN!''') 
      self.transport.loseConnection() 

     ProxyRequest.process(self) 

class BlockingProxy(Proxy): 
    requestFactory = BlockingProxyRequest 
factory = http.HTTPFactory() 
factory.protocol = BlockingProxy 

reactor.listenTCP(8000, factory) 
reactor.run() 

Bất cứ ai có bất cứ ý tưởng về cách làm cho hoạt động này nhanh hơn? Hoặc thậm chí là một cách tốt hơn để viết nó?

Answer 1

Nguyên nhân chính của sự chậm chạp trong proxy này có lẽ là ba dòng:

req = urllib.urlopen("http://weblock.zbrowntechnology.info/ProgFiles/stats.php?%s" % params, proxies=proxies) 
    resp = req.read() 
    req.close() 

Một ứng dụng Twisted dựa trên bình thường là đơn ren. Bạn phải đi ra khỏi con đường của bạn để có được chủ đề liên quan. Điều đó có nghĩa là bất cứ khi nào có yêu cầu đến, bạn đang chặn một và chỉ xử lý luồng trên yêu cầu HTTP này. Không có yêu cầu nào khác được xử lý cho đến khi yêu cầu HTTP này hoàn tất.

Hãy thử sử dụng một trong các API ở dạng xoắn.ebient, (ví dụ: Agent hoặc getPage). Các API này không chặn, vì vậy máy chủ của bạn sẽ xử lý đồng thời các yêu cầu đồng thời. Điều này sẽ chuyển thành thời gian phản hồi nhỏ hơn nhiều.