13
Tôi đang tạo một ứng dụng thực hiện nhiều cuộc gọi api tới một số trang web. Sự cố tôi gặp phải là trang web có giới hạn về số lượng cuộc gọi api có thể được thực hiện mỗi phút. Để giải quyết vấn đề này, tôi hy vọng sẽ sử dụng Tor kết hợp với node-http-proxy để tạo bảng proxy sử dụng địa chỉ IP ẩn danh được lấy từ tor api.Sử dụng Tor api để tạo một máy chủ proxy ẩn danh
Vì vậy, câu hỏi của tôi là, điều này có thể thực hiện được như thế nào và bạn sẽ đề xuất những công cụ nào để hoàn thành công việc. Ứng dụng của tôi được viết bằng javascript, vì vậy các giải pháp liên quan đến những thứ như node-tor là thích hợp hơn.
Tôi sẽ thực hiện một bước nhảy vọt và nói điều đó có thể trái ngược với các điều khoản dịch vụ của nhà cung cấp API để bạn có thể vượt qua giới hạn. Giới hạn là có bởi vì đó là tất cả những gì họ có thể đủ khả năng để cung cấp.Bạn nên yêu cầu nhà cung cấp API giúp bạn làm việc trong giới hạn của họ hoặc bạn nên cho họ biết lý do tại sao giới hạn quá thấp. –
Khi @Bergi cho biết - hãy lưu trữ yêu cầu hoặc thiết lập máy chủ cục bộ để trả về dữ liệu giả/thực trong khi bạn đang phát triển. Nếu dữ liệu quay trở lại dưới dạng JSON, thậm chí có thể là các tệp văn bản thẳng mà bạn phân phối, chỉ với loại mime phù hợp. –
Tôi xin lỗi, nhưng tôi không hiểu làm thế nào bảng proxy của bạn sẽ thay đổi bất cứ điều gì: sẽ không các trang web xa vẫn nhận được yêu cầu đến từ cùng một IP? Tôi gặp phải vấn đề như vậy với trình thu thập dữ liệu web và tôi thường sử dụng [async] (https://github.com/caolan/async) để giới hạn thông lượng của trình thu thập thông tin của tôi để phù hợp với giới hạn của trang web được thu thập thông tin. – Feugy