-Tôi có một liên kết công việcsiêu url liên kết không mở mà không cần mở cửa giới thiệu hoặc trang mẹ
-Khi tôi dán nó vào một url trình duyệt và nhấn enter, nó kết quả trong
errmsg = NoCookieGetSessionIdForXML (trang không tải)
-However trên cùng một trình duyệt nếu tôi mở đề cập hoặc trang mẹ
https://sjobs.brassring.com/TGWebHost/searchopenings.aspx?partnerid=25222&siteid=5011
-Sau đó mở một tab mới, một lần nữa trên cùng một trình duyệt tôi đi đến liên kết cùng trên
thời gian này trang web được tải thành công. Tôi loại bỏ các url công việc (không phải url tìm kiếm) và hiển thị cho họ những người dùng trên trang của riêng tôi. Vì vậy, bạn có thể vui lòng chỉ cho tôi cách để đạt được điều này? Tôi đã cố gắng để chụp rắc rối và tôi nghĩ rằng nó có thể phải làm gì với việc thiết lập phiên/cookie nhưng vẫn không thể tìm ra tất cả. Cảm ơn trước sự giúp đỡ nào.
Bạn cần cookie đó, vì vậy bạn cần phải tạo ra rằng cookie từ trang đích, có được nó, và sau đó vượt qua nó vào trang mà bạn muốn để có được. Nhưng chính xác như thế nào bạn làm điều đó phụ thuộc vào ngôn ngữ bạn đang mã hóa scraper của bạn, mà bạn đã không được đề cập ở đây. Tôi đã nhanh chóng tìm được giải pháp cho Python ở đây trên StackOverflow và nếu bạn không thể tìm thấy những gì bạn đang tìm kiếm, bạn có thể làm tốt để đặt câu hỏi mới tại đây, lần này chi tiết ngôn ngữ bạn đang sử dụng –
@RobWilkins Có, tôi đang sử dụng python để cạo, và bạn có thể vui lòng gửi lại liên kết bạn đã đề cập không? Nhiều đánh giá cao. – Dung
http://stackoverflow.com/questions/9754807/scrape-a-web-page-that-requires-they-give-you-a-session-cookie-first –