Cách tải xuống các trang chuyển hướng sau khi đăng nhập?

Question

trang thường có một hình thức đăng nhập có thể được tải với

wget --no-check-certificate --save-cookies cookies --keep-session-cookies \ 
    --post-data="username=example&password=example" \ 
    "https://example.com/index.php?title=Special:Userlogin&returntotitle=" 

wget --no-check-certificate --load-cookies=cookies \ 
    --no-parent -r --level=2 -nc -E \ 
    https://example.com/Special:Sitemap 

Nhưng trong trường hợp của các trang web Dekiwiki, điều này không làm việc, nếu đăng nhập là bắt buộc.

Vấn đề vỉa được mô tả trong man wget

Lưu ý: nếu wget được chuyển hướng sau khi yêu cầu POST được hoàn thành, nó sẽ không gửi dữ liệu POST để URL được chuyển hướng. Điều này là do các URL xử lý POST thường phản hồi với chuyển hướng đến trang thông thường, không mong muốn hoặc chấp nhận POST. Nó không phải là hoàn toàn rõ ràng rằng hành vi này là tối ưu; nếu nó không hoạt động, có thể là đã thay đổi trong tương lai.

Câu hỏi

này có thể được thực hiện bằng Perl ví dụ với có lẽ HTML::TreeBuilder 3 hoặc HTML::TokeParser hoặc Mechanize hoặc bất kỳ mô-đun Perl nào khác?

Answer 1

Một số trang web yêu cầu đăng nhập không gửi lại cookie với câu trả lời. Thay vào đó, họ gửi phản hồi chuyển hướng (302 đối tượng đã di chuyển), hầu hết các trình duyệt đều tự động theo dõi và sau đó cookie được gửi trong phản hồi cho trang chuyển hướng đó.

Tôi sử dụng curl để thực hiện việc này bằng cách bật curl_opt FOLLOW_LOCATION, để công cụ dòng lệnh sử dụng tùy chọn vị trí. Nó là một công cụ miễn phí như wget.

curl --cookie cookie.txt --cookie-jar cookie.txt \ 
    --data-urlencode "username=example&password=example" \ 
    --insecure --location https://example.com/index.php?title=Special:Userlogin&returntotitle= -o downloadedfile.html https://example.com/Special:Sitemap 

http://curl.haxx.se/download.html

Ngoài ra, đôi khi là một hình thức đăng nhập hy vọng một đa phần bài/form-data thay vì chỉ một bài application/x-www-form-urlencoded. Để làm cho curl làm một bài viết đa phần/biểu mẫu dữ liệu thay đổi thành anh ta --data-urlencode thành -F.