Làm thế nào để sử dụng Python để đăng nhập vào một trang web và truy xuất cookie để sử dụng sau này?

Question

Tôi muốn tải xuống và phân tích trang web bằng cách sử dụng python, nhưng để truy cập vào nó, tôi cần một vài tập hợp cookie. Do đó, tôi cần đăng nhập qua https tới trang web trước tiên. Thời điểm đăng nhập liên quan đến việc gửi hai tham số POST (tên người dùng, mật khẩu) tới /login.php. Trong yêu cầu đăng nhập, tôi muốn truy xuất cookie từ tiêu đề phản hồi và lưu trữ chúng để tôi có thể sử dụng chúng trong yêu cầu tải xuống trang web /data.php.

Làm cách nào để thực hiện điều này trong python (tốt nhất là 2.6)? Nếu có thể, tôi chỉ muốn sử dụng các mô đun dựng sẵn.

Answer 1

import urllib, urllib2, cookielib 

username = 'myuser' 
password = 'mypassword' 

cj = cookielib.CookieJar() 
opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cj)) 
login_data = urllib.urlencode({'username' : username, 'j_password' : password}) 
opener.open('http://www.example.com/login.php', login_data) 
resp = opener.open('http://www.example.com/hiddenpage.php') 
print resp.read() 

resp.read() là html thẳng của trang web mà bạn muốn mở, và bạn có thể sử dụng opener để xem bất kỳ trang sử dụng session cookie.

Answer 2

Dưới đây là một phiên bản sử dụng requests thư viện xuất sắc:

from requests import session 

payload = { 
    'action': 'login', 
    'username': USERNAME, 
    'password': PASSWORD 
} 

with session() as c: 
    c.post('http://example.com/login.php', data=payload) 
    response = c.get('http://example.com/protected_page.php') 
    print(response.headers) 
    print(response.text)