Làm cách nào để xóa một trang web yêu cầu đăng nhập bằng python và beautifulsoup?

Question

Nếu tôi muốn xóa một trang web yêu cầu đăng nhập bằng mật khẩu trước tiên, làm cách nào tôi có thể bắt đầu tìm kiếm bằng python bằng thư viện beautifulsoup4? Dưới đây là những gì tôi làm cho các trang web không yêu cầu đăng nhập.

from bs4 import BeautifulSoup  
import urllib2 
url = urllib2.urlopen("http://www.python.org")  
content = url.read()  
soup = BeautifulSoup(content) 

Mã nên được thay đổi để phù hợp với thông tin đăng nhập như thế nào? Giả sử rằng trang web tôi muốn xóa là một diễn đàn yêu cầu đăng nhập. Một ví dụ là http://forum.arduino.cc/index.php

Answer 1

Bạn có thể sử dụng mechanize:

import mechanize 
from bs4 import BeautifulSoup 
import urllib2 
import cookielib 

cj = cookielib.CookieJar() 
br = mechanize.Browser() 
br.set_cookiejar(cj) 
br.open("https://id.arduino.cc/auth/login/") 

br.select_form(nr=0) 
br.form['username'] = 'username' 
br.form['password'] = 'password.' 
br.submit() 

print br.response().read() 

Hoặc urllib - Login to website using urllib2

Answer 2

Bạn có thể sử dụng selen để đăng nhập và lấy mã nguồn trang web, sau đó bạn có thể vượt qua để Beautiful Soup để trích xuất dữ liệu bạn muốn.