Xử lý các giới hạn tốc độ API?

Question

Tôi đã thiết lập ứng dụng để thực hiện cuộc gọi theo lịch tới một số API mỗi ngày một lần. Điều này làm việc rất độc đáo nhưng tôi biết rằng một số các API tôi đang gọi (Twitter ví dụ) có một giới hạn tốc độ. Khi số lượng cuộc gọi tôi đang thực hiện được thiết lập để liên tục phát triển, bất cứ ai có thể giới thiệu một cách để tăng tốc các cuộc gọi của tôi để tôi có thể gửi trong bursts của x mỗi giờ/phút vv?

Tôi đã tìm thấy viên đá quý Glutton Ratelimit, có ai đang sử dụng nó và nó có tốt không? Có những người khác tôi nên xem xét không?

Answer 1

Nếu bạn đang sử dụng một số loại nhân viên nền để thực hiện cuộc gọi API, bạn có thể lên lịch lại nhiệm vụ để được sửa lại trong khe thời gian tiếp theo, khi giới hạn tốc độ được đặt lại.

class TwitterWorker 
    include Sidekiq::Worker 

    def perform(status_id) 
    status = Twitter.status(status_id) 
    # ... 

    rescue Twitter::Error::TooManyRequests 
    # Reschedule the query to be performed in the next time slot 
    TwitterWorker.perform_in(15.minutes, status_id) 
    end 
end 

Không có giải pháp khoa học nào, ví dụ: rủi ro là một truy vấn có thể được lên lịch lại mỗi lần nếu bạn cố gắng thực hiện nhiều cuộc gọi API trong một ngày hơn giới hạn tốc độ cho phép. Nhưng cho đến lúc đó, điều gì đó dễ dàng có thể làm được điều đó!

Answer 2

giải pháp khác là mua proxy cho phép bạn gửi yêu cầu với các địa chỉ IP khác nhau

Sử dụng lib http chuẩn http://ruby-doc.org/stdlib-2.0/libdoc/net/http/rdoc/Net/HTTP.html#method-c-Proxy

Tôi không chắc chắn rằng bạn sẽ không bị chặn nhưng có lẽ nó là đáng để thử . IP được chọn ngẫu nhiên sẽ tăng giới hạn của bạn

Answer 3

Trừ khi bạn thực hiện yêu cầu đồng thời, không có nhiều yêu cầu.

• Hình ra bao nhiêu chậm trễ bạn cần theo yêu cầu
• Kiểm tra thời gian trước khi yêu cầu, trừ từ thời điểm sau khi yêu cầu và sleep phần còn lại.

Với yêu cầu đồng thời bạn có thể chính xác hơn, I once blogged about that here

Answer 4

Tôi biết đây là một câu hỏi cũ, nhưng muốn đề cập đến một cái gì đó trong trường hợp nó giúp những người khác với cùng một câu hỏi.

Nếu tác phẩm có thể được xếp hàng đợi bằng cách sử dụng lại, bạn có thể sử dụng đá quý mà tôi vừa mới phát hành, tạm dừng hàng đợi khi bạn đạt đến mức ưu tiên - và bỏ tạm thời sau một thời gian.

https://github.com/pavoni/resque-rate_limited_queue