Xóa tất cả các kiểu nội tuyến bằng cách sử dụng BeautifulSoup

Question

Tôi đang thực hiện một số thao tác dọn dẹp HTML với BeautifulSoup. Noob cho cả Python & BeautifulSoup. Tôi đã xóa thẻ chính xác như sau, dựa trên câu trả lời tôi tìm thấy ở nơi khác trên Stackoverflow:

[s.extract() for s in soup('script')] 

Nhưng cách xóa kiểu nội tuyến? Ví dụ như sau:

<p class="author" id="author_id" name="author_name" style="color:red;">Text</p> 
<img class="some_image" href="somewhere.com"> 

Sẽ trở thành:

<p>Text</p> 
<img href="somewhere.com"> 

Làm thế nào để xóa các lớp nội tuyến, id, các thuộc tính tên & phong cách của tất cả các yếu tố?

Câu trả lời cho các câu hỏi tương tự khác Tôi có thể tìm tất cả được đề cập bằng cách sử dụng trình phân tích cú pháp CSS để xử lý, thay vì BeautifulSoup, nhưng vì nhiệm vụ chỉ đơn giản là xóa thay vì thao tác các thuộc tính và là quy tắc chăn cho tất cả các thẻ, tôi đã hy vọng tìm được cách để làm tất cả trong BeautifulSoup.

Answer 1

Bạn không cần phải phân tích cú pháp bất kỳ CSS nào nếu bạn chỉ muốn xóa tất cả. BeautifulSoup cung cấp một cách để loại bỏ toàn bộ các thuộc tính như vậy:

for tag in soup(): 
    for attribute in ["class", "id", "name", "style"]: 
     del tag[attribute] 

Ngoài ra, nếu bạn chỉ muốn xóa toàn bộ các thẻ (và các nội dung của họ), bạn không cần phải extract(), mà trả về thẻ. Bạn chỉ cần decompose():

[tag.decompose() for tag in soup("script")] 

Không khác biệt lớn, nhưng chỉ là một thứ khác mà tôi đã tìm thấy khi xem tài liệu. Bạn có thể tìm thêm chi tiết về API trong BeautifulSoup documentation, với nhiều ví dụ.

Answer 2

Tôi sẽ không làm điều này trong BeautifulSoup - bạn sẽ dành nhiều thời gian để thử, thử nghiệm và làm việc xung quanh các trường hợp cạnh.

Bleach thực hiện chính xác điều này cho bạn. http://pypi.python.org/pypi/bleach

Nếu bạn làm điều này trong BeautifulSoup, tôi khuyên bạn nên sử dụng phương pháp "danh sách trắng", như Bleach. Quyết định thẻ nào có thể có thuộc tính nào và loại bỏ mọi thẻ/thuộc tính không khớp.

Answer 3

Dựa trên chức năng JMK của, tôi sử dụng chức năng này để loại bỏ cơ sở thuộc tính trên một danh sách trắng:

Làm việc trong python2, BeautifulSoup3

def clean(tag,whitelist=[]): 
    tag.attrs = None 
    for e in tag.findAll(True): 
     for attribute in e.attrs: 
      if attribute[0] not in whitelist: 
       del e[attribute[0]] 
     #e.attrs = None  #delte all attributes 
    return tag 

#example to keep only title and href 
clean(soup,["title","href"]) 

Answer 4

Đây là giải pháp của tôi cho Python3 và BeautifulSoup4:

def remove_attrs(soup, whitelist=tuple()): 
    for tag in soup.findAll(True): 
     for attr in [attr for attr in tag.attrs if attr not in whitelist]: 
      del tag[attr] 
    return soup 

Nó hỗ trợ danh sách trắng các thuộc tính cần được lưu giữ. :) Nếu không có danh sách trắng nào được cung cấp, tất cả các thuộc tính sẽ bị xóa.