Chuyển đổi chuỗi ISO-8859-1 sang UTF-8 trong C/C++

Question

Bạn sẽ nghĩ rằng điều này có sẵn, nhưng tôi đang gặp khó khăn khi tìm một hàm thư viện đơn giản sẽ chuyển đổi chuỗi C hoặc C++ từ ISO -8859-1 mã hóa thành UTF-8. Tôi đang đọc dữ liệu trong mã hóa 8-bit ISO-8859-1, nhưng cần phải chuyển đổi nó thành chuỗi UTF-8 để sử dụng trong cơ sở dữ liệu SQLite và cuối cùng là một ứng dụng Android.

Tôi đã tìm thấy một sản phẩm thương mại nhưng vượt quá ngân sách của tôi tại thời điểm này.

Answer 1

Nếu mã hóa nguồn của bạn sẽ luôn được ISO-8859-1, đây là tầm thường. Đây là vòng lặp:

unsigned char *in, *out; 
while (*in) 
    if (*in<128) *out++=*in++; 
    else *out++=0xc2+(*in>0xbf), *out++=(*in++&0x3f)+0x80; 

Vì lý do an toàn, bạn cần đảm bảo bộ đệm đầu ra lớn gấp hai lần bộ đệm đầu vào hoặc giới hạn kích thước khác và kiểm tra trong điều kiện vòng lặp.

Answer 2

Chuẩn C++ 03 không cung cấp chức năng chuyển đổi trực tiếp giữa các bộ ký tự cụ thể.

Tùy thuộc vào hệ điều hành của bạn, bạn có thể sử dụng iconv() trên Linux, MultiByteToWideChar() & Co. trên Windows. Một thư viện cung cấp hỗ trợ lớn cho chuyển đổi chuỗi là thư viện ICU là nguồn mở.

Answer 3

ISO-8859-1 đến UTF-8 không liên quan gì hơn thuật toán mã hóa vì ISO-8859-1 là tập hợp con của Unicode. Vì vậy, bạn đã có các điểm mã Unicode. Kiểm tra Wikipedia cho thuật toán.

Các khía cạnh C++ - tích hợp với iostreams - khó hơn nhiều.

Tôi đề nghị bạn đi bộ xung quanh ngọn núi đó thay vì cố gắng khoan qua nó hoặc leo lên nó, nghĩa là, thực hiện một chuỗi đơn giản để chuyển đổi chuỗi.

Cheers & h.,

Answer 4

Các folks Unicode có một số bảng có thể hữu ích nếu phải đối mặt với Windows 1252 thay vì đúng ISO-8859-1. Con số cuối cùng có vẻ là this one ánh xạ mọi điểm mã trong CP1252 đến một điểm mã trong Unicode. Mã hóa Unicode dưới dạng UTF-8 là một bài tập đơn giản.

Sẽ không khó để phân tích trực tiếp bảng đó và tạo bảng tra cứu từ bảng đó tại thời gian biên dịch.

Answer 5

Để C++ i sử dụng này:

std::string iso_8859_1_to_utf8(std::string &str) 
{ 
    string strOut; 
    for (std::string::iterator it = str.begin(); it != str.end(); ++it) 
    { 
     uint8_t ch = *it; 
     if (ch < 0x80) { 
      strOut.push_back(ch); 
     } 
     else { 
      strOut.push_back(0xc0 | ch >> 6); 
      strOut.push_back(0x80 | (ch & 0x3f)); 
     } 
    } 
    return strOut; 
} 

Answer 6

Bạn có thể sử dụng tăng :: thư viện ngôn ngữ:

http://www.boost.org/doc/libs/1_49_0/libs/locale/doc/html/charset_handling.html

Mã này sẽ trông như thế này:

#include <boost/locale.hpp> 
std::string utf8_string = to_utf<char>(latin1_string,"Latin1");