Cạo các trang web yêu cầu đăng nhập bằng Python

Question

Tôi sử dụng một số mạng quảng cáo cho trang web của mình và để xem tôi kiếm được bao nhiêu tiền mỗi ngày để thêm các giá trị. Tôi đã nghĩ đến việc tạo một kịch bản Python để làm điều này cho tôi để có được tổng số nhanh chóng. Tôi biết tôi cần phải làm một yêu cầu POST để đăng nhập, sau đó lưu trữ các cookie mà tôi lấy lại và sau đó GET yêu cầu trang báo cáo trong khi chuyển vào các cookie đó.

Cách thuận tiện nhất để sao chép bằng Python những gì tôi đang làm khi duyệt các trang web theo cách thủ công?

Answer 1

Xem nếu tác phẩm này với bạn:

http://stockrt.github.com/p/emulating-a-browser-in-python-with-mechanize/

Answer 2

cookielib làm cookie handling client-side, và mechanize tăng cường nó bằng nhiều cách - trong đó có một cách để khởi tạo một hộp bánh bằng cách đọc các cookie từ bộ nhớ cache của Internet Explorer (vì vậy, nếu bạn có thể đăng nhập thủ công một lần vào mỗi trang trên Windows, bạn có thể sử dụng cookielib hoặc cơ giới hóa cho các lần đăng nhập tương lai dựa trên cùng một cookie - cho đến khi hết hạn).

Answer 3

không phải là giải pháp Python, nhưng hãy cân nhắc sử dụng công cụ tự động hóa trình duyệt như Chickenfoot.