Python + Expat: Lỗi trên � thực thể

Question

Tôi đã viết một hàm nhỏ, trong đó sử dụng ElementTree và xpath để trích xuất nội dung văn bản của một số yếu tố trong một tập tin xml:

#!/usr/bin/env python2.5 

import doctest 
from xml.etree import ElementTree 
from StringIO import StringIO 

def parse_xml_etree(sin, xpath): 
    """ 
Takes as input a stream containing XML and an XPath expression. 
Applies the XPath expression to the XML and returns a generator 
yielding the text contents of each element returned. 

>>> parse_xml_etree(
... StringIO('<test><elem1>one</elem1><elem2>two</elem2></test>'), 
... '//elem1').next() 
'one' 
>>> parse_xml_etree(
... StringIO('<test><elem1>one</elem1><elem2>two</elem2></test>'), 
... '//elem2').next() 
'two' 
>>> parse_xml_etree(
... StringIO('<test><null>&#0;</null><elem3>three</elem3></test>'), 
... '//elem2').next() 
'three' 
""" 

    tree = ElementTree.parse(sin) 
    for element in tree.findall(xpath): 
    yield element.text 

if __name__ == '__main__': 
    doctest.testmod(verbose=True) 

Các thử nghiệm thứ ba không thành công với những điều sau đây ngoại lệ:

ExpatError: tham chiếu đến số không hợp lệ nhân vật: dòng 1, cột 13

là � thực thể XML bất hợp pháp? Bất kể nó có hay không, các tập tin tôi muốn phân tích chứa nó, và tôi cần một số cách để phân tích chúng. Bất kỳ đề xuất nào cho một trình phân tích cú pháp khác ngoài Expat, hoặc các thiết lập cho Expat, điều đó sẽ cho phép tôi làm điều đó?

---

Cập nhật: Tôi phát hiện BeautifulSoup ngay bây giờ, một phân tích cú pháp súp tag như đã nêu dưới đây trong các bình luận câu trả lời, và để cho vui Tôi quay trở lại với vấn đề này và cố gắng sử dụng nó như là một XML-sạch trước ElementTree , nhưng nó đã chuyển đổi một cách tỉ mỉ số � thành một byte null không hợp lệ. :-)

cleaned_s = StringIO(
    BeautifulStoneSoup('<test><null>&#0;</null><elem3>three</elem3></test>', 
        convertEntities=BeautifulStoneSoup.XML_ENTITIES 
).renderContents() 
) 
tree = ElementTree.parse(cleaned_s) 

... sản lượng

xml.parsers.expat.ExpatError: not well-formed (invalid token): line 1, column 12 

Trong trường hợp đặc biệt của tôi, mặc dù tôi đã không thực sự cần phân tích XPath như vậy, tôi có thể đã đi với chính nó BeautifulSoup và nó khá đơn giản kiểu địa chỉ nút parsed_tree.test.elem1.contents[0].

Answer 1

� không nằm trong số legal character range được xác định bởi thông số XML. Than ôi, kỹ năng Python của tôi khá thô sơ, vì vậy tôi không giúp được gì nhiều.

Answer 2

� không phải là ký tự XML hợp lệ. Lý tưởng nhất, bạn có thể làm cho người tạo tệp để thay đổi quy trình của họ để tệp không hợp lệ như thế này.

Nếu bạn phải chấp nhận các tệp này, bạn có thể xử lý trước chúng để biến &#0 thành nội dung khác. Ví dụ: chọn @ làm ký tự thoát, chuyển "@" thành "@@" và "�" thành "@ 0".

Khi bạn nhận được dữ liệu văn bản từ trình phân tích cú pháp, bạn có thể đảo ngược ánh xạ. Đây chỉ là một ví dụ, bạn có thể phát minh ra bất kỳ cú pháp thoát nào mà bạn thích.