Tại sao chuỗi unicode Python yêu cầu xử lý đặc biệt cho UTF-8 BOM?

Question

Vì một lý do nào đó, Python có vẻ đang gặp sự cố với BOM khi đọc chuỗi unicode từ tệp UTF-8. Hãy xem xét những điều sau:

with open('test.py') as f: 
    for line in f: 
     print unicode(line, 'utf-8') 

Có vẻ đơn giản, phải không?

Đó là những gì tôi nghĩ đến khi tôi chạy nó từ dòng lệnh và nhận được:

UnicodeEncodeError: 'charmap' codec can't encode character u'\ufeff' in position 0: character maps to <undefined>

Một thăm viếng ngắn gọn để Google tiết lộ rằng BOM phải được xóa bằng tay:

import codecs 
with open('test.py') as f: 
    for line in f: 
     print unicode(line.replace(codecs.BOM_UTF8, ''), 'utf-8') 

Cái này chạy tốt. Tuy nhiên tôi đang đấu tranh để xem bất kỳ công đức trong này.

Có lý do nào đằng sau hành vi được mô tả ở trên không? Ngược lại, UTF-16 hoạt động liền mạch.

Answer 1

Mã hóa 'utf-8-sig' sẽ sử dụng chữ ký BOM thay cho bạn.

Answer 2

Bạn đã viết:

UnicodeEncodeError: 'charmap' codec can't encode character u'\ufeff' in position 0: character maps to <undefined> 

Khi bạn xác định mã hóa "utf-8" bằng Python, nó sẽ đưa bạn vào văn bản của bạn. Tệp UTF-8 không được coi là để chứa BOM trong đó. Chúng không bắt buộc và cũng không được khuyến cáo. Endianness không có ý nghĩa với các đơn vị mã 8-bit.

BOMs vít mọi thứ lên, quá, vì bạn có thể không còn chỉ làm:

$ cat a b c > abc 

nếu những file UTF-8 có không liên quan (đọc: có) BOMs trong đó. Xem tại sao các BOM quá ngu ngốc/xấu/có hại trong UTF-8? Họ thực sự phá vỡ mọi thứ.

BOM là siêu dữ liệu, không phải dữ liệu và thông số mã hóa UTF-8 không cho phép chúng theo cách các thông số UTF-16 và UTF-32 thực hiện. Vì vậy, Python đã đưa bạn vào từ của bạn và theo thông số kỹ thuật. Khó để đổ lỗi cho điều đó.

Nếu bạn đang cố gắng sử dụng BOM làm số ma thuật để xác định nội dung của tệp, bạn thực sự không nên làm điều đó. Bạn thực sự phải sử dụng prototocl mức cao hơn cho các mục đích siêu dữ liệu này, giống như bạn làm với loại MIME.

Đây chỉ là một lỗi Windows khác, giải pháp thay thế là sử dụng mã hóa thay thế "utf-8-sig" để chuyển sang Python.