Súp đẹp không thể tìm thấy thẻ

Question

Tôi hiện đang cố gắng thực hành với các yêu cầu và mô-đun BeautifulSoup trong Python 3.6 và gặp phải vấn đề mà tôi dường như không tìm thấy bất kỳ thông tin nào về các câu hỏi và câu trả lời khác.

Dường như tại một số thời điểm trong trang, Beuatiful Soup ngừng nhận dạng thẻ và Id. Tôi cố gắng để kéo Play-by-play dữ liệu từ một trang như thế này:

http://www.pro-football-reference.com/boxscores/201609080den.htm

import requests, bs4 

source_url = 'http://www.pro-football-reference.com/boxscores/201609080den.htm' 
res = requests.get(source_url) 
if '404' in res.url: 
    raise Exception('No data found for this link: '+source_url) 

soup = bs4.BeautifulSoup(res.text,'html.parser') 

#this works 
all_pbp = soup.findAll('div', {'id' : 'all_pbp'}) 
print(len(all_pbp)) 

#this doesn't 
table = soup.findAll('table', {'id' : 'pbp'}) 
print(len(table)) 

Sử dụng thanh tra trong Chrome, tôi có thể thấy rằng bàn chắc chắn tồn tại. Tôi cũng đã cố gắng sử dụng nó trên 'div's và' tr's trong nửa sau của HTML và nó dường như không hoạt động. Tôi đã thử tiêu chuẩn 'html.parser' cũng như lxml và html5lib, nhưng không có gì có vẻ hiệu quả.

Tôi có làm điều gì đó sai ở đây hoặc có điều gì đó trong HTML hoặc định dạng của nó ngăn cản BeautifulSoup tìm chính xác các thẻ sau này không? Tôi đã gặp sự cố với các trang tương tự do công ty này điều hành (hockey-reference.com, basketball-reference.com), nhưng đã có thể sử dụng các công cụ này đúng cách trên các trang web khác.

Nếu nó là thứ gì đó với HTML, có công cụ/thư viện nào tốt hơn để giúp trích xuất thông tin này không?

Cảm ơn bạn đã giúp đỡ của bạn, BF

Answer 1

BS4 sẽ không thể thực hiện javascript của một trang web sau khi thực hiện yêu cầu GET cho một URL. Tôi nghĩ rằng bảng quan tâm được tải không đồng bộ từ javascript phía máy khách.

Do đó, javascript phía máy khách sẽ cần phải chạy trước trước khi loại bỏ HTML. Điều này post mô tả cách làm như vậy!

Answer 2

Ok, tôi có vấn đề là gì. Bạn đang cố gắng phân tích cú pháp nhận xét, không phải là phần tử html thông thường. Đối với những trường hợp này bạn nên sử dụng Comment từ BeautifulSoup, như thế này:

import requests 
from bs4 import BeautifulSoup,Comment 

source_url = 'http://www.pro-football-reference.com/boxscores/201609080den.htm' 
res = requests.get(source_url) 
if '404' in res.url: 
    raise Exception('No data found for this link: '+source_url) 

soup = BeautifulSoup(res.content,'html.parser') 

comments=soup.find_all(string=lambda text:isinstance(text,Comment)) 

for comment in comments: 
    comment=BeautifulSoup(str(comment), 'html.parser') 
    search_play = comment.find('table', {'id':'pbp'}) 
    if search_play: 
     play_to_play=search_play