Splinter hoặc Selenium: Chúng tôi có thể tải trang html hiện tại sau khi nhấp vào nút không?

Question

Tôi đang cố gắng thu thập dữ liệu trang web "http://everydayhealth.com". Tuy nhiên, tôi thấy rằng trang sẽ được hiển thị động. Vì vậy, khi tôi nhấp vào nút "Thêm", một số tin tức mới sẽ được hiển thị. Tuy nhiên, sử dụng splinter để nhấp vào nút không cho phép "browser.html" tự động thay đổi thành nội dung html hiện tại. Có cách nào để cho nó nhận được nguồn html mới nhất, bằng cách sử dụng hoặc splinter hoặc selen? Mã của tôi trong ly khai như sau:

import requests 
from bs4 import BeautifulSoup 
from splinter import Browser 

browser = Browser() 
browser.visit('http://everydayhealth.com') 
browser.click_link_by_text("More") 

print(browser.html) 

---

Dựa trên @ câu trả lời Louis, tôi viết lại chương trình như sau:

from selenium import webdriver 
from selenium.webdriver.support.ui import WebDriverWait 

driver = webdriver.Firefox() 
driver.get("http://www.everydayhealth.com") 
more_xpath = '//a[@class="btn-more"]' 
more_btn = WebDriverWait(driver, 10).until(lambda driver: driver.find_element_by_xpath(more_xpath)) 
more_btn.click() 
more_news_xpath = '(//a[@href="http://www.everydayhealth.com/recipe-rehab/5-herbs-and-spices-to-intensify-flavor.aspx"])[2]' 
WebDriverWait(driver, 5).until(lambda driver: driver.find_element_by_xpath(more_news_xpath)) 

print(driver.execute_script("return document.documentElement.outerHTML;")) 
driver.quit() 

Tuy nhiên, trong văn bản đầu ra, tôi vẫn không thể tìm văn bản trong trang được cập nhật. Ví dụ, khi tôi tìm kiếm "Sữa của bạn là bạn của bạn hay kẻ thù?", Nó vẫn không trả lại gì cả. Có chuyện gì vậy?

Answer 1

Khi tôi sử dụng Selenium cho các tác vụ như thế này, tôi biết browser.page_source không được cập nhật.

Answer 2

Với Selenium, giả định rằng driver được khởi WebDriver đối tượng của bạn, điều này sẽ cung cấp cho bạn mã HTML tương ứng với trạng thái của DOM tại thời điểm bạn thực hiện cuộc gọi:

driver.execute_script("return document.documentElement.outerHTML;") 

Giá trị trả về là một chuỗi để bạn có thể làm:

print(driver.execute_script("return document.documentElement.outerHTML;"))