Phân loại nhân vật

Question

Câu hỏi đơn giản một lần nữa: có một số std::string, xác định ký tự nào là chữ số, ký hiệu, khoảng trắng, v.v ... đối với cài đặt ngôn ngữ và khu vực của người dùng (ngôn ngữ).

tôi quản lý để chia chuỗi thành một tập hợp các ký tự bằng cách sử dụng boost locale boundary analysis tool:

std::string text = u8"生きるか死ぬか"; 

boost::locale::boundary::segment_index<std::string::const_iterator> characters(
    boost::locale::boundary::character, 
    text.begin(), text.end(), 
    boost::locale::generator()("ja_JP.UTF-8")); 

for (const auto& ch : characters) { 
    // each 'ch' is a single character in japanese language 
} 

Tuy nhiên, tôi tiếp tục không thấy cách nào để xác định xem ch là một chữ số hoặc một biểu tượng hay bất cứ điều gì khác. Có boost string classification algorithms, nhưng những điều này dường như không hoạt động với bất cứ điều gì *segment_index::iterator.

Tôi cũng không thể áp dụng std::isalpha(std::locale), bởi vì tôi không chắc chắn liệu có thể chuyển đoạn tăng thành số char hoặc wchar_t hay không.

Có cách nào gọn gàng để phân loại biểu tượng không?

Answer 1

Có một số chức năng và các đối tượng hỗ trợ này trong <locale> nhưng ... Ví dụ văn bản mà bạn cung cấp cho trông giống như UTF-8, mà là một mã hóa nhiều byte, và các chức năng trong <locale> không làm việc với mã hóa nhiều byte.

Tôi khuyên bạn nên lấy thư viện ICU và sử dụng nó. Trong số các điều khoản khác, nó cho phép kiểm tra tất cả các thuộc tính được xác định trong Cơ sở dữ liệu ký tự Unicode. Nó cũng có các macro hoặc hàm để lặp qua một chuỗi (hoặc ít nhất là một mảng char), giải nén một điểm mã UTF_32 tại một thời điểm (đó là điều bạn muốn muốn kiểm tra).