Phiếu mua hàng không trả lại kết quả nào

Question

Tôi đã nghiên cứu vấn đề này trong cơ sở dữ liệu, googled các câu hỏi và tìm thấy hai lỗi khác nhau. Tôi đã xác định rằng 503 lỗi là Amazon chặn tôi nhưng tôi nhận được một lỗi khác nhau mà là cùng một dòng nhưng không có trả lại 503 trong đó. Tôi không thể giải mã sự khác biệt. Bất cứ ai có thể giúp đỡ? Các lỗi tôi nhận được được liệt kê dưới đây. Các phân tích cú pháp html Tôi đang sử dụng là HTML Agility Pack và Just Agile

http://www.amazon.com/gp/offer-listing/1902915208 error The remote server returned an error: (503) Server Unavailable.

và

Scrape Offers returned no results.

Lỗi này là không phù hợp và do đó không dễ dàng để bẫy. Lỗi trả về trong mẩu tin lưu niệm tiếp theo. Nó là rất ngẫu nhiên và không xảy ra với cùng một sản phẩm nhất quán. Tôi nhận được rất nhiều những hàng ngày và nó đang ngăn cản tôi từ việc cập nhật giá cả và cung cấp thông tin chính xác cho khách hàng.

Answer 1

Vì vậy, khi tôi phát hiện ra, sự cố là Tác nhân người dùng được gửi tới Amazon. Tôi đã thêm lệnh sau vào các tùy chọn CURL của mình và nó hoạt động ngay bây giờ - ngay cả khi không có US-Proxy.

curl_setopt($ch, CURLOPT_USERAGENT, 'Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.8.1.13) Gecko/20080311 Firefox/2.0.0.13'); 

Answer 2

Tôi đặt 1 giây ngủ giữa mỗi 20 yêu cầu trang web. Và điều đó đã giải quyết được vấn đề của tôi.