HTML XPath: Trích xuất văn bản được trộn lẫn với nhiều thẻ?

Question

Mục tiêu: Trích xuất văn bản từ một phần tử cụ thể (ví dụ: li), trong khi bỏ qua các thẻ hỗn hợp khác nhau, tức là làm phẳng con đầu tiên và chỉ cần trả lại văn bản được ghép nối của từng con riêng biệt.

Ví dụ:

<div id="mw-content-text"><h2><span class="mw-headline" >CIA</span></h2> 
    <ol> 
    <li>Central <a href="/Intelligence_Agency.html">Intelligence Agency</a>.</li> 
    <li>Culinary <a href="/Institute.html">Institute</a> of <a href="/America.html">America</a>.</li> 
    </ol> 

    </Div> 

văn bản mong muốn:

• Cơ quan Tình báo Trung ương
• Culinary Institute of America

Trừ rằng các thẻ neo xung quanh ngăn cản một hồi đơn giản.

Để trở về mỗi thẻ li riêng biệt, chúng tôi sử dụng đơn giản:

//div[contains(@id,"mw-content-text")]/ol/li 

nhưng điều đó cũng bao gồm xung quanh thẻ neo, vv Và

//div[contains(@id,"mw-content-text")]/ol/li/text() 

lợi nhuận chỉ có yếu tố văn bản đó là trẻ em trực tiếp của li, tức là 'Trung tâm', '.'...

Có vẻ hợp lý khi đó tìm kiếm các phần tử văn bản của tự và con cháu

//div[contains(@id,"mw-content-text")]/ol/li[descendant-or-self::text] 

nhưng điều đó không trả về gì cả!

Mọi đề xuất? Tôi đang sử dụng Python, vì vậy tôi mở để sử dụng các mô-đun khác để xử lý hậu kỳ.

(Tôi đang sử dụng Scrapy HtmlXPathSelector mà dường như XPath 1.0 compliant)

Answer 1

Bạn sắp hoàn tất.Có một vấn đề nhỏ trong:

//div[contains(@id,"mw-content-text")]/ol/li[descendant-or-self::text] 

Biểu thức điều chỉnh là:

//div[contains(@id,"mw-content-text")]/ol/li[descendant-or-self::text()] 

Tuy nhiên, có một biểu thức đơn giản mà tạo ra chính xác nối truy nã của tất cả các văn bản nút theo quy định li:

string(//div[contains(@id,"mw-content-text")]/ol/li) 

Answer 2

Chuỗi nối là khéo léo. Dưới đây là một giải pháp nhanh chóng sử dụng lxml:

>>> from lxml import etree 
>>> doc = etree.HTML("""<div id="mw-content-text"><h2><span class="mw-headline" >CIA</span></h2> 
...  <ol> 
...  <li>Central <a href="/Intelligence_Agency.html">Intelligence Agency</a>.</li> 
...  <li>Culinary <a href="/Institute.html">Institute</a> of <a href="/America.html">America</a>.</li> 
...  </ol> 
... 
...  </Div>""") 
>>> for element in doc.xpath('//div[@id="mw-content-text"]/ol/li'): 
... print "".join(element.xpath('descendant-or-self::text()')) 
... 
Central Intelligence Agency. 
Culinary Institute of America. 

Xin lưu ý rằng // có hiệu suất/thực hiện ngoài ý muốn có khả năng kém và nên tránh nếu có thể, nhưng khó có thể làm như vậy với ví dụ HTML mảnh.

Answer 3

Tôi nghĩ rằng những điều sau đây sẽ trả lại kết quả chính xác:

//div[contains(@id,"mw-content-text")]/ol/li//text() 

Lưu ý dấu gạch chéo kép trước khi văn bản(). Điều này có nghĩa là các nút văn bản trên bất kỳ mức nào dưới đây li phải được trả lại.