Làm cách nào để chuyển đổi các ký tự được mã hóa \ xXY sang UTF-8 bằng Python?

Question

Tôi có một văn bản chứa các ký tự như "\ xaf", "\ xbe", như tôi hiểu từ this question, là các ký tự được mã hóa ASCII.

Tôi muốn chuyển đổi chúng bằng Python sang các tương đương UTF-8 của chúng. Thông thường string.encode("utf-8") ném UnicodeDecodeError. Có cách nào tốt hơn không, ví dụ: với thư viện chuẩn codecs?

Mẫu 200 characters here.

Answer 1

Tệp của bạn đã là tệp được mã hóa UTF-8.

# saved encoding-sample to /tmp/encoding-sample 
import codecs 
fp= codecs.open("/tmp/encoding-sample", "r", "utf8") 
data= fp.read() 

import unicodedata as ud 

chars= sorted(set(data)) 
for char in chars: 
    try: 
     charname= ud.name(char) 
    except ValueError: 
     charname= "<unknown>" 
    sys.stdout.write("char U%04x %s\n" % (ord(char), charname)) 

Và tự điền vào tên vô danh:
char U000a ĐƯỜNG DÂY FEED
char THÔNG TIN U001e SEPARATOR HAI
char THÔNG TIN U001f SEPARATOR ONE

Answer 2

Không phải ASCII (mã ASCII chỉ lên tới 127; \xaf là 175). Trước tiên, bạn cần phải tìm hiểu mã hóa chính xác, giải mã và sau đó mã hóa lại bằng UTF-8.

Bạn có thể cung cấp mẫu chuỗi thực tế không? Sau đó, chúng tôi có thể đoán mã hóa hiện tại.

Answer 3

.encode là để chuyển đổi một chuỗi Unicode (unicode trong 2.x, 3.x str trong) vào một một chuỗi byte (str trong 2.x, 3.x bytes trong).

Trong 2.x, hợp pháp để gọi .encode trên đối tượng str. Python ngầm giải mã chuỗi thành Unicode trước tiên: s.encode(e) hoạt động như thể bạn đã viết s.decode(sys.getdefaultencoding()).encode(e).

Sự cố là mã hóa mặc định là "ascii" và chuỗi của bạn chứa ký tự không phải ASCII. Bạn có thể giải quyết điều này bằng cách chỉ định rõ ràng mã hóa chính xác.

>>> '\xAF \xBE'.decode('ISO-8859-1').encode('UTF-8') 
'\xc2\xaf \xc2\xbe'