Hành vi lạ của re.sub với các chuỗi utf-8

Question

Có ai giải thích cho tôi hành vi kỳ lạ này không? Tôi hy vọng cả hai phương pháp thay thế sẽ hoạt động hoặc không hoạt động cùng một lúc. Có phải chỉ là tôi hay có ai không tìm thấy điều này để kết hợp không?

>>> u'è'.replace("\xe0","") 
Traceback (most recent call last): 
    File "<stdin>", line 1, in <module> 
UnicodeDecodeError: 'ascii' codec can't decode byte 0xe0 in position 0: ordinal not in range(128) 
>>> re.sub(u'è','\xe0','',flags=re.UNICODE) 
'' 

(Xin lưu ý rằng tôi không yêu cầu một lời giải thích về việc tại sao u'è'.replace ("\ xe0", "") đặt ra một lỗi!)

Answer 1

Từ Unicode Doc

đối số cho các phương pháp này có thể là chuỗi Unicode hoặc 8-bit chuỗi. Các chuỗi 8 bit sẽ được chuyển thành Unicode trước khi thực hiện thao tác ; mã hóa ASCII mặc định Python sẽ được sử dụng, vì vậy ký tự lớn hơn 127 sẽ gây ra một ngoại lệ

Từ Re Doc:

Module này cung cấp biểu thức chính quy phù hợp với các hoạt động tương tự như những mặt hàng trong Perl. Cả hai mẫu và chuỗi được tìm kiếm có thể là chuỗi Unicode cũng như các chuỗi 8 bit.

Vì mô đun Re bạn không chỉ định rõ cờ Unicode, nó không cố gắng chuyển đổi và do đó không làm tăng lỗi. Đó là lý do tại sao chúng không hoạt động mạch lạc

Answer 2

Python 2.X có xử lý mã hóa hơi không tự nhiên, điều này sẽ chuyển đổi ẩn. Nó sẽ cố gắng chơi với các chuỗi unicode và no-unicode, khi chuyển đổi không được người dùng quan tâm. Cuối cùng, điều đó không giải quyết được vấn đề: mã hóa phải được nhà phát triển thừa nhận từ khi bắt đầu. Python 2 chỉ làm cho mọi thứ ít rõ ràng hơn và ít rõ ràng hơn một chút.

>>> u'è'.replace(u"\xe0", u"") 
u'\xe8' 

Đó là ví dụ ban đầu của bạn, ngoại trừ, tôi đặc biệt nói với Python rằng tất cả các chuỗi đều là unicode. Nếu không, Python sẽ cố gắng chuyển đổi chúng. Và vì mã hóa mặc định trong Python 2 là ASCII, điều này rõ ràng sẽ không thành công với ví dụ của bạn.

Mã hóa là một chủ đề khó, nhưng với một số thói quen tốt (như chuyển đổi sớm, luôn luôn chắc chắn về loại dữ liệu được chương trình xử lý tại một điểm nhất định), nó thường (và tôi nhấn mạnh, USUALLY) .

Hy vọng điều đó sẽ hữu ích!