Phát hiện nếu ký tự được đơn giản hóa hoặc ký tự Trung Quốc truyền thống

Question

Tôi tìm thấy số này question cho phép tôi kiểm tra xem chuỗi có chứa ký tự tiếng Trung hay không. Tôi không chắc chắn nếu các dãy unicode là chính xác nhưng họ dường như trở về sai cho Nhật Bản và Hàn Quốc và đúng cho Trung Quốc.

Những gì nó không làm là cho biết nhân vật đó là tiếng Trung Quốc truyền thống hay đơn giản. Làm thế nào bạn sẽ đi về việc tìm kiếm này ra?

---

cập nhật

Q: Làm thế nào tôi có thể nhận ra từ giá trị 32 bit của một ký tự Unicode nếu điều này là một nhân vật Trung Quốc, Hàn Quốc hay Nhật Bản?

http://unicode.org/faq/han_cjk.html

Lập luận của họ rằng các nhân vật bất kể hình dạng của chúng có cùng ý nghĩa và do đó cần được đại diện bởi các mã tương tự. Vâng, nó không vô nghĩa đối với tôi bởi vì tôi đang phân tích các nhân vật riêng lẻ không hoạt động với giải pháp của họ:

Một giải pháp tốt hơn là xem xét toàn bộ văn bản: nếu có số lượng hợp lý, đó là có lẽ là người Nhật, và nếu có một số lượng công bằng của hangul, nó có thể là tiếng Hàn.

Answer 1

Như tôi nghĩ bạn đã khám phá, bạn không thể. Đơn giản và truyền thống chỉ là hai kiểu viết các ký tự giống nhau - nó giống như sự khác biệt giữa kịch bản La Mã và Gothic cho các ngôn ngữ châu Âu.

Answer 2

Như đã nêu, bạn không thể phát hiện kiểu kịch bản một cách đáng tin cậy từ một ký tự đơn lẻ, nhưng có thể cho một mẫu văn bản đủ dài. Xem https://github.com/jpatokal/script_detector đối với đá quý Ruby thực hiện công việc và Simplified Chinese Unicode table để thảo luận chung.

Answer 3

Có thể cho một số ký tự. Bộ ký tự truyền thống và đơn giản trùng lặp, do đó, bạn có ba bộ ký tự cơ bản:

1. Ký tự chỉ truyền thống;
2. Ký tự được đơn giản hóa;
3. Các ký tự không được chạm vào và có sẵn ở cả hai.

Lấy ký tự 面 ví dụ. Nó thuộc về cả hai # 2 và # 3 ... Là một ký tự đơn giản, nó là viết tắt của 面 và 麵, mặt và mì. Trong khi đó 麵 chỉ là một nhân vật truyền thống. Vì vậy, trong cơ sở dữ liệu Unihan, 麵 có một số kSimplifiedVariant, trỏ đến 面. Vì vậy, bạn có thể khấu trừ rằng nó là một nhân vật truyền thống mà thôi.

Nhưng 面 cũng có một số kTraditionalVariant, trỏ đến 麵. Nhưng đây là nơi hệ thống bị ngắt: nếu bạn sử dụng dữ liệu này để khấu trừ rằng 面 là ký tự đơn giản, bạn sẽ sai ...

Mặt khác, 韩 có kTraditionalVariant, trỏ đến 韓 và hai loại này là cặp "Đơn giản"/Truyền thống "thực".Nhưng không có gì trong cơ sở dữ liệu Unihan phân biệt các trường hợp như 韓 韩 từ các trường hợp như 麵面.