Xử lý lỗi Unicode với readline của Python 3()

Question

Tôi tiếp tục gặp lỗi này khi đang đọc tệp văn bản. Có thể xử lý/bỏ qua nó và tiếp tục không?

UnicodeEncodeError: ‘charmap’ codec can’t decode byte 0x81 in position 7827: character maps to undefined.

Answer 1

Trong Python 3, vượt qua một giá trị thích hợp errors= (như errors=ignore hoặc errors=replace) vào việc tạo ra đối tượng tập tin của bạn (giả sử nó là một lớp con của io.TextIOWrapper - và nếu nó không phải là, hãy xem xét gói nó trong một!); Ngoài ra, hãy xem xét việc chuyển mã hóa có khả năng nhiều hơn charmap (khi bạn không chắc chắn, utf-8 luôn là nơi tốt để bắt đầu).

Ví dụ:

f = open('misc-notes.txt', encoding='utf-8', errors='ignore') 

---

Trong Python 2, hoạt động read() chỉ đơn giản trả về byte; các trick, sau đó, là giải mã chúng để có được chúng thành một chuỗi (nếu bạn làm, trên thực tế, muốn ký tự như trái ngược với byte). Nếu bạn không có một đoán tốt hơn để mã hóa thật của họ:

your_string.decode('utf-8', 'replace') 

... để thay thế unhandled ký tự, hoặc

your_string.decode('utf-8', 'ignore') 

chỉ đơn giản là bỏ qua chúng.

Điều đó nói rằng, việc tìm và sử dụng mã hóa thực sự của mình (thay vì đoán utf-8) sẽ được ưu tiên.

Answer 2

Yeah..you có thể bọc nó trong một

try: 
    .... 
except UnicodeEncodeError: 
    pass 

Answer 3

Bạn nên mở tệp bằng codec để đảm bảo tệp được hiểu là UTF8.

 
import codecs 
fd = codecs.open(filename,'r',encoding='utf-8') 
data = fd.read()