Xóa tất cả thẻ javascript và thẻ kiểu từ html bằng python và mô-đun lxml

Question

Tôi đang phân tích cú pháp tài liệu html bằng cách sử dụng thư viện http://lxml.de/. Cho đến nay tôi đã tìm ra cách tách thẻ từ một tài liệu html In lxml, how do I remove a tag but retain all contents? nhưng phương pháp được mô tả trong bài đăng đó để lại tất cả văn bản, tước các thẻ bằng cách xóa bỏ tập lệnh thực tế. Tôi cũng đã tìm thấy một tài liệu tham khảo lớp học để lxml.html.clean.Cleaner http://lxml.de/api/lxml.html.clean.Cleaner-class.html nhưng điều này rõ ràng là bùn như thế nào để thực sự sử dụng lớp học để làm sạch tài liệu. Bất kỳ sự giúp đỡ nào, có lẽ một ví dụ ngắn sẽ hữu ích cho tôi!

Answer 1

Dưới đây là một ví dụ để làm những gì bạn muốn. Đối với tài liệu HTML, Cleaner là giải pháp tổng quát tốt hơn cho vấn đề hơn là sử dụng strip_elements, bởi vì trong những trường hợp như thế này bạn muốn loại bỏ nhiều hơn chỉ là thẻ <script>; bạn cũng muốn loại bỏ những thứ như thuộc tính onclick=function() trên các thẻ khác.

#!/usr/bin/env python 

import lxml 
from lxml.html.clean import Cleaner 

cleaner = Cleaner() 
cleaner.javascript = True # This is True because we want to activate the javascript filter 
cleaner.style = True  # This is True because we want to activate the styles & stylesheet filter 

print "WITH JAVASCRIPT & STYLES" 
print lxml.html.tostring(lxml.html.parse('http://www.google.com')) 
print "WITHOUT JAVASCRIPT & STYLES" 
print lxml.html.tostring(cleaner.clean_html(lxml.html.parse('http://www.google.com'))) 

Bạn có thể nhận danh sách các tùy chọn bạn có thể đặt trong lxml.html.clean.Cleaner documentation; một số tùy chọn bạn chỉ có thể thiết lập để True hoặc False (mặc định) và những người khác tham gia một danh sách như:

cleaner.kill_tags = ['a', 'h1'] 
cleaner.remove_tags = ['p'] 

Lưu ý rằng sự khác biệt giữa kill vs remove:

remove_tags: 
    A list of tags to remove. Only the tags will be removed, their content will get pulled up into the parent tag. 
kill_tags: 
    A list of tags to kill. Killing also removes the tag's content, i.e. the whole subtree, not just the tag itself. 
allow_tags: 
    A list of tags to include (default include all). 

Answer 2

Bạn có thể sử dụng phương pháp strip_elements để loại bỏ kịch bản, sau đó sử dụng strip_tags phương pháp để loại bỏ các thẻ khác:

etree.strip_elements(fragment, 'script') 
etree.strip_tags(fragment, 'a', 'p') # and other tags that you want to remove