Đa luồng trong một công nhân cần thiết

Question

Tôi đang sử dụng Celery với RabbitMQ để xử lý dữ liệu từ các yêu cầu API. Quá trình này diễn ra như sau:

Yêu cầu -> API -> RabbitMQ -> Cần tây Worker -> Return

Lý tưởng nhất là tôi sẽ đẻ trứng nhiều người lao động cần tây nhưng tôi bị hạn chế bởi bộ nhớ hạn chế.

Hiện tại, nút cổ chai trong quy trình của tôi đang tìm nạp và tải xuống dữ liệu từ các URL được chuyển vào công nhân. Roughy, quá trình này trông giống như sau:

celery_gets_job(url): 
    var data = fetches_url(url) # takes 0.1s to 1.0s (bottleneck) 
    var result = processes_data(data) # takes 0.1ss 
    return result 

Điều này là không thể chấp nhận khi công nhân bị khóa trong một thời gian khi tìm nạp URL. Tôi đang tìm kiếm nâng cao này thông qua luồng, nhưng tôi không chắc chắn những gì thực tiễn tốt nhất là:

• Có cách nào để làm cho việc tải xuống công nhân cần tây dữ liệu đến không đồng bộ khi xử lý dữ liệu cùng lúc trong một chủ đề khác nhau?

• Tôi có nên có công nhân riêng lẻ tìm nạp và xử lý, với một số hình thức gửi tin nhắn, có thể thông qua RabbitMQ?

Answer 1

Sử dụng thư viện eventlet, bạn có thể vá các thư viện chuẩn để làm cho chúng không đồng bộ.

đầu tiên nhập khẩu các async urllib2:

from eventlet.green import urllib2 

Vì vậy, bạn sẽ nhận được cơ thể url với:

def fetch(url): 
    body = urllib2.urlopen(url).read() 
    return body 

Xem thêm eventlet ví dụ here.

Answer 2

Tôi sẽ tạo hai tác vụ, một để tải xuống dữ liệu và một tác vụ khác để xử lý dữ liệu sau khi tải xuống. Bằng cách này bạn có thể mở rộng hai nhiệm vụ một cách độc lập. Xem: Routing, Chains.