Thư đối sánh bằng bất kỳ ngôn ngữ nào

Question

Làm cách nào để khớp một chữ cái từ bất kỳ ngôn ngữ nào bằng cách sử dụng regex trong python 3?

re.match([a-zA-Z]) sẽ khớp với các ký tự ngôn ngữ tiếng Anh nhưng tôi muốn tất cả các ngôn ngữ được hỗ trợ cùng một lúc.

Tôi không muốn khớp với ' trong can't hoặc gạch dưới hoặc bất kỳ loại định dạng nào khác. Tôi muốn regex của tôi phù hợp: c, a, n, t, Å, é và 中.

Answer 1

Đối với Unicode việc regex bằng Python, tôi rất khuyên như sau:

3. Sử dụng Matthew Barnett’s regex library thay vì tiêu chuẩn re, mà không thực sự thích hợp cho Unicode thường xuyên biểu thức.
4. Chỉ sử dụng Python 3, không bao giờ Python 2. Bạn muốn tất cả các chuỗi của mình là chuỗi Unicode.
5. Chỉ sử dụng các chuỗi ký tự với các điểm mã Unicode hợp lý/trừu tượng, không phải chuỗi byte được mã hóa.
6. Đặt mã hóa trên luồng của bạn và quên nó đi. Nếu bạn thấy mình từng gọi theo cách thủ công .encode và như vậy, bạn gần như chắc chắn đang làm điều gì đó sai.
7. Chỉ sử dụng một bản dựng rộng nơi các điểm mã và các đơn vị mã giống nhau, chưa từng bao giờ là một điểm hẹp - mà bạn có thể làm tốt để cân nhắc việc không được sử dụng cho tính mạnh mẽ của Unicode.
8. Bình thường hóa tất cả các chuỗi đến thành NFD trên đường đi rồi NFC trên đường ra. Nếu không, bạn không thể có hành vi đáng tin cậy.

Khi bạn làm điều này, bạn có thể yên tâm viết mẫu mà bao gồm \w hoặc \p{script=Latin} hoặc \p{alpha} và \p{lower} vv và biết rằng tất cả những sẽ làm những gì the Unicode Standard says they should. Tôi giải thích tất cả các doanh nghiệp này của Python Unicode kinh doanh regex chi tiết hơn in this answer. Câu chuyện ngắn là luôn sử dụng regex không phải re.

Để có tư vấn Unicode chung, tôi cũng có several talks from last OSCON về các biểu thức chính quy Unicode, hầu hết trong số đó không chỉ nói về Python, mà phần lớn là khả năng thích ứng.

Cuối cùng, luôn có this answer để đặt sự sợ hãi của Thiên Chúa (hoặc ít nhất, của Unicode) trong trái tim của bạn.

Answer 2

Tạo lớp đối sánh của tất cả các ký tự bạn muốn đối sánh. Điều này có thể trở thành rất, rất lớn. Không, không có thuật toán RegEx nào cho "Tất cả chữ Kanji";)

Có thể dễ dàng khớp với những gì bạn không muốn, nhưng thậm chí sau đó, lớp này sẽ trở nên cực kỳ lớn.

Answer 3

Bạn có thể kết hợp trên

\p{L} 

đó phù hợp với bất kỳ điểm mã Unicode mà đại diện cho một lá thư của một kịch bản. Đó là, giả sử bạn thực sự có một công cụ regex Unicode có khả năng, mà tôi thực sự hy vọng Python sẽ có.

Answer 4

Có gì sai khi sử dụng trình tự đặc biệt \ w?

# -*- coding: utf-8 -*- 
import re 
test = u"can't, Å, é, and 中ABC" 
print re.findall('\w+', test, re.UNICODE) 

Answer 5

 
import re 

text = "can't, Å, é, and 中ABC" 
print(re.findall('\w+', text)) 

Điều này hoạt động bằng Python 3. Nhưng nó cũng khớp với dấu gạch dưới. Tuy nhiên điều này dường như để làm công việc như tôi muốn:

 
import regex 

text = "can't, Å, é, and 中ABC _ sh_t" 
print(regex.findall('\p{alpha}+', text)) 

Answer 6

Đối với ngôn ngữ Bồ Đào Nha, sử dụng thử cái này:

[a-zA-ZÀ-ú ]+