Thư viện C để chuyển đổi các điểm mã unicode thành UTF8?

Question

Tôi phải đi qua một số văn bản và viết đầu ra UTF8 theo các mẫu ký tự. Tôi nghĩ rằng nó sẽ được dễ dàng nếu tôi có thể làm việc với các điểm mã và làm cho nó chuyển đổi sang UTF8. Tôi đã được đọc về unicode và UTF8 nhưng không thể tìm thấy một giải pháp tốt. Bất kỳ trợ giúp sẽ được đánh giá cao.

Answer 1

Chuyển đổi các điểm mã Unicode sang UTF-8 là rất tầm thường mà làm cho cuộc gọi đến một thư viện có thể mất nhiều mã hơn là chỉ làm điều đó cho mình:

if (c<0x80) *b++=c; 
else if (c<0x800) *b++=192+c/64, *b++=128+c%64; 
else if (c-0xd800u<0x800) goto error; 
else if (c<0x10000) *b++=224+c/4096, *b++=128+c/64%64, *b++=128+c%64; 
else if (c<0x110000) *b++=240+c/262144, *b++=128+c/4096%64, *b++=128+c/64%64, *b++=128+c%64; 
else goto error; 

Ngoài ra, làm việc đó mình có nghĩa là bạn có thể điều chỉnh các api để loại w ork bạn cần (nhân vật-tại-một-thời gian? Hoặc chuỗi dài?) Bạn có thể xóa các trường hợp lỗi nếu bạn biết đầu vào của mình là giá trị vô hướng Unicode hợp lệ.

Hướng khác là khó hơn một chút để có được chính xác. Tôi khuyên bạn nên sử dụng phương pháp automaton hữu hạn thay vì các vòng bit số học thông thường đôi khi giải mã các chuỗi không hợp lệ làm bí danh cho các ký tự thực (rất nguy hiểm và có thể dẫn đến các vấn đề bảo mật).

Chỉnh sửa: Ngay cả khi bạn kết thúc bằng thư viện, tôi nghĩ bạn nên tự mình viết thử trước hoặc ít nhất nghiên cứu nghiêm túc đặc tả UTF-8 trước khi tiếp tục. Rất nhiều thiết kế xấu có thể đến từ việc xử lý UTF-8 như một hộp đen khi toàn bộ vấn đề là nó không phải là hộp đen nhưng được tạo ra để có các thuộc tính rất mạnh và quá nhiều lập trình viên mới cho UTF-8 không thấy điều này cho đến họ đã làm việc với nó rất nhiều.

Answer 2

Nền tảng nào? Trên Windows, bạn có thể sử dụng WideCharToMultiByte (CP_UTF8, ...)

Có thể cho rằng điểm mã nguồn phải được mã hóa bằng UTF-16, điều đó có nghĩa là bạn phải có khả năng mã hóa như vậy. Trong một số trường hợp (cặp thay thế), nó không tầm thường.

Hiểu biết của tôi là bạn có một số văn bản trong một trang mã đã cho và bạn muốn chuyển đổi nó thành Unicode (UTF-16). Đúng? Một MultiByteToWideChar (codePage, sourceText, ...)/WideCharToMultiByte (CP_UTF8, utf16Text, ...) roundtrip sẽ thực hiện thủ thuật.

Answer 3

libiconv.

Answer 4

biểu tượng có thể được sử dụng tôi tính.

#include <iconv.h> 

iconv_t cd; 
char out[7]; 
wchar_t in = CODE_POINT_VALUE; 
size_t inlen = sizeof(in), outlen = sizeof(out); 

cd = iconv_open("utf-8", "wchar_t"); 
iconv(cd, (char **)&in, &inl, &out, &outlen); 
iconv_close(cd); 

Nhưng tôi sợ rằng wchar_t có thể không đại diện cho các điểm mã Unicode, nhưng giá trị tùy ý .. EDIT: Tôi đoán bạn có thể làm điều đó bằng cách đơn giản bằng cách sử dụng nguồn Unicode:

uint16_t in = UNICODE_POINT_VALUE; 
cd = iconv_open("utf-8", "ucs-2");