Python: nhận được chiều dài chuỗi chính xác khi nó chứa cặp thay thế

Question

Cân nhắc việc trao đổi sau đây trên IPython:

In [1]: s = u'華袞與緼同歸' 

In [2]: len(s) 
Out[2]: 8 

Kết quả chính xác nên đã 7, nhưng vì thứ năm của bảy chữ Hán có một mã Unicode cao -point, nó được biểu diễn bằng UTF-8 bởi một "cặp thay thế", chứ không phải chỉ là một codepoint đơn giản, và kết quả là Python nghĩ rằng nó là hai ký tự chứ không phải một.

Thậm chí nếu tôi sử dụng unicodedata, mà trả về cặp thay thế một cách chính xác như một điểm mã duy nhất (\U00026177), khi truyền cho len() chiều dài sai vẫn trả về:

In [3]: import unicodedata 

In [4]: unicodedata.normalize('NFC', s) 
Out[4]: u'\u83ef\u889e\u8207\u7dfc\U00026177\u540c\u6b78' 


In [5]: len(unicodedata.normalize('NFC', s)) 
Out[5]: 8 

Nếu không tiến hành các bước quyết liệt như biên dịch lại Python cho UTF-32, có cách nào đơn giản để có được độ dài chính xác trong các tình huống như thế này không?

Tôi đang sử dụng IPython 0.13, Python 2.7.2, Mac OS 10.8.2.

Answer 1

Tôi nghĩ rằng điều này đã được khắc phục trong 3.3. Xem:

http://docs.python.org/py3k/whatsnew/3.3.html
http://www.python.org/dev/peps/pep-0393/ (tìm kiếm wstr_length)

Answer 2

Bạn có thể ghi đè lên các chức năng len trong Python (xem: How does len work?) và thêm một câu lệnh if trong nó để kiểm tra sự unicode dài thêm.

Answer 3

tôi thực hiện một chức năng để làm điều này trên Python 2:

SURROGATE_PAIR = re.compile(u'[\ud800-\udbff][\udc00-\udfff]', re.UNICODE) 
def unicodeLen(s): 
    return len(SURROGATE_PAIR.sub('.', s)) 

Bằng cách thay thế cặp thay thế với một nhân vật duy nhất, chúng tôi sửa chữa 'các len chức năng. Trên các chuỗi bình thường, điều này sẽ khá hiệu quả: vì mẫu không khớp, chuỗi gốc sẽ được trả về mà không sửa đổi. Nó cũng hoạt động trên các bản dựng Python (32-bit) rộng, vì mã hóa cặp thay thế sẽ không được sử dụng.