Biểu thức chính quy của Java không nhận dạng các ký tự từ các ngôn ngữ khác dưới dạng ký tự từ (ví dụ: \ w)

Question

Cho phép nói rằng tôi có một từ: "Aiavärav". Biểu thức \w+ phải ghi lại từ này, nhưng chữ "ä" cắt giảm một nửa. Thay vì "Aiavärav", tôi nhận được "Aia". Regex chính xác cho những từ có chứa những chữ cái không ascii là gì?

Answer 1

Theo the documentation, \w chỉ phù hợp [a-zA-Z_0-9] trừ khi bạn chỉ định UNICODE_CHARACTER_CLASS cờ:

Pattern.compile("\\w+", Pattern.UNICODE_CHARACTER_CLASS) 

hoặc nhúng một (?U) trong mẫu:

Pattern.compile("(?U)\\w+") 

một trong hai mà đòi hỏi phải có JDK 1.7 (ví dụ, Java 7).

Nếu bạn không có Java 7, bạn có thể khái quát \w sang Unicode bằng cách sử dụng \p{L} ("chữ"; như [a-zA-Z], nhưng không phải ASCII cụ thể) và \p{N} ("number"; như [0-9], nhưng không phải theo ASCII cụ thể):

Pattern.compile("[\\p{L}_\\p{N}]+") 

Nhưng nó có vẻ như thể bạn đang tìm kiếm thực tế lời, theo nghĩa thông thường (như trái ngược với cảm giác ngôn ngữ lập trình), và không cần phải hỗ trợ chữ số và dấu gạch dưới ? Trong trường hợp đó, bạn chỉ có thể sử dụng \p{L}:

Pattern.compile("\\p{L}+") 

(Bằng cách này, các dấu ngoặc nhọn thực sự không bắt buộc — bạn có thể viết \pL thay vì p{L} và \pN thay vì \p{N} — nhưng mọi người thường bao gồm họ dù sao, vì chúng được yêu cầu cho các loại nhiều chữ cái như \p{Lu} "chữ hoa".)