Làm thế nào để tạo lại UnicodeEncodeError?

Question

tôi nhận được một lỗi trong một hệ thống sản xuất, mà tôi không thể sinh sản trong môi trường phát triển:

with io.open(file_name, 'wt') as fd: 
    fd.write(data) 

Ngoại lệ:

File "/home/.../foo.py", line 18, in foo 
    fd.write(data) 

UnicodeEncodeError: 'ascii' codec can't encode character u'\xe4' in position 6400: ordinal not in range(128) 

Tôi đã cố gắng nhưng rất nhiều nhân vật lạ vào biến data.

Nhưng cho đến bây giờ tôi không thể tạo lại số UnicodeEncodeError.

Điều gì cần phải ở trong data để nhận được UnicodeEncodeError?

Cập nhật

python -c 'import locale; print locale.getpreferredencoding()' 
UTF-8 

Update2

Nếu tôi gọi locale.getpreferredencoding() qua vỏ và thông qua yêu cầu web, mã hóa là "UTF-8".

Tôi đã cập nhật xử lý ngoại lệ trong mã của mình và đăng nhập getpreferredencoding() từ một số ngày. Bây giờ nó đã xảy ra một lần nữa (đến nay tôi không thể ép buộc hoặc tái tạo điều này), và mã hóa là "ANSI_X3.4-1968"!

Tôi không có đầu mối khi mã hóa này được đặt ....

Điều này đặt vấn đề của tôi theo một hướng khác. Để lại câu hỏi này vô ích. Vấn đề của tôi bây giờ là: Mã hóa ưa thích bị thay đổi ở đâu? Nhưng đây không phải là một phần của câu hỏi này.

Xin cảm ơn, đối với tất cả những ai

Answer 1

Bạn đang dựa vào mã hóa mặc định cho nền tảng; khi mã hóa mặc định đó không thể hỗ trợ các ký tự Unicode bạn đang ghi vào tệp, bạn sẽ nhận được một ngoại lệ mã hóa.

Từ io.open() documentation:

encoding is the name of the encoding used to decode or encode the file. This should only be used in text mode. The default encoding is platform dependent (whatever locale.getpreferredencoding() returns), but any encoding supported by Python can be used.

Đối với tình hình cụ thể của bạn, mặc định được trả về bởi locale.getpreferredencoding() là ASCII, vì vậy bất kỳ ký tự Unicode bên ngoài phạm vi ASCII sẽ gây ra vấn đề này, U-0080 trở lên.

Lưu ý rằng ngôn ngữ được lấy từ môi trường của bạn; nếu nó là ASCII, điều đó thường có nghĩa là miền địa phương được đặt thành POSIX default locale, C.

Xác định mã hóa một cách rõ ràng:

with io.open(file_name, 'wt', encoding='utf8') as fd: 
    fd.write(data) 

tôi đã sử dụng UTF-8 là một ví dụ; những gì bạn chọn phụ thuộc hoàn toàn vào các trường hợp sử dụng của bạn và dữ liệu bạn đang cố gắng viết ra.

Answer 2

Quấn write trong một try/except và tiết kiệm của bạn dữ liệu vào một tập tin nhị phân - bạn sẽ có thể để xem chính xác những dữ liệu nào đem lại cho bạn các vấn đề:

with io.open(file_name, 'wt') as fd: 
    try: 
     fd.write(data) 
    except UnicodeEncodeError: 
     with open('/path/to/save/error.bin', 'wb') as err: 
      err.write(data) 
     raise 

Answer 3

Tôi cố gắng này để tạo lại lỗi:

with open(filename, 'wt', encoding='ascii') as fd: 
    fd.write('\xa0') 

Traceback (most recent call last):
File "test.py", line 2, in fd.write('\xa0')
UnicodeEncodeError: 'ascii' codec can't encode character '\xa0' in position 0: ordinal not in range(128)