Biến đổi ký tự unicode dạng dải

Question

Cách đơn giản nhất để loại bỏ các công cụ sửa đổi ký tự từ một chuỗi unicode bằng Python là gì?

Ví dụ:

Arthur nên trở thành Arthur

Tôi đã thử các tài liệu nhưng tôi không thể tìm thấy bất cứ điều gì mà thực hiện điều này.

Answer 1

Hãy thử điều này

import unicodedata 
a = u"STRING GOES HERE" # using an actual string would break stackoverflow's code formatting. 
u"".join(x for x in a if not unicodedata.category(x).startswith("M")) 

này sẽ loại bỏ tất cả các ký tự phân loại như nhãn hiệu, đó là những gì tôi nghĩ rằng bạn muốn. Nói chung, bạn có thể lấy danh mục của một ký tự với unicodedata.category.

Answer 2

Bạn cũng có thể sử dụng r'\p{M}' được hỗ trợ bởi regex module:

import regex 

def remove_marks(text): 
    return regex.sub(ur"\p{M}+", "", text) 

Ví dụ:

>>> print s 
A͋͠r͍̞̫̜t̼̭͞h́u̡̙̞̘rͬͣ̐ͮ 
>>> def remove_marks(text): 
...  return regex.sub(ur"\p{M}+", "", text) 
...  
... 
>>> print remove_marks(s) 
Arthur 

Tùy thuộc vào tình huống sử dụng của bạn một cách tiếp cận danh sách trắng có thể là ví dụ tốt hơn, để hạn chế đầu vào chỉ thành các ký tự ascii:

>>> s.encode('ascii', 'ignore').decode('ascii') 
u'Arthur' 

Kết quả có thể phụ thuộc vào chuẩn hóa Unicode được sử dụng trong văn bản.