Làm thế nào để thay thế/loại bỏ 4 (+) - byte ký tự từ một chuỗi UTF-8 trong Java?

Question

Vì MySQL 5.1 không hỗ trợ chuỗi UTF-8 4 byte, tôi cần phải thay thế/thả chuỗi 4 byte trong các chuỗi này.

Tôi đang tìm một cách rõ ràng để thay thế các ký tự này.

Thư viện Apache đang thay thế các ký tự có dấu hỏi là tốt cho trường hợp này, mặc dù ASCII tương đương sẽ đẹp hơn, tất nhiên.

N.B. Đầu vào là từ các nguồn bên ngoài (tên e-mail) và nâng cấp cơ sở dữ liệu không phải là một giải pháp tại thời điểm này.

Answer 1

Chúng tôi đã kết thúc việc triển khai phương pháp sau trong Java cho vấn đề này. Khái niệm cơ bản thay thế các ký tự bằng một codepoint cao hơn sau đó là 3byte UTF-8 char cuối cùng.

Tính toán bù trừ là để đảm bảo chúng tôi ở lại trên các điểm mã unicode.

public static final String LAST_3_BYTE_UTF_CHAR = "\uFFFF"; 
public static final String REPLACEMENT_CHAR = "\uFFFD"; 

public static String toValid3ByteUTF8String(String s) { 
    final int length = s.length(); 
    StringBuilder b = new StringBuilder(length); 
    for (int offset = 0; offset < length;) { 
     final int codepoint = s.codePointAt(offset); 

     // do something with the codepoint 
     if (codepoint > CharUtils.LAST_3_BYTE_UTF_CHAR.codePointAt(0)) { 
      b.append(CharUtils.REPLACEMENT_CHAR); 
     } else { 
      if (Character.isValidCodePoint(codepoint)) { 
       b.appendCodePoint(codepoint); 
      } else { 
       b.append(CharUtils.REPLACEMENT_CHAR); 
      } 
     } 
     offset += Character.charCount(codepoint); 
    } 
    return b.toString(); 
} 

Answer 2

5 chuỗi byte utf-8 bắt đầu bằng chuỗi 111110xx-byte và 6 byte utf-8 bắt đầu bằng 1111110x-byte. Điều quan trọng cần lưu ý là, không có byte theo dõi nào của các chuỗi utf-8 1-byte chứa byte lớn vì các byte tiếp theo luôn có dạng 10xxxxxx.

Vì vậy, bạn chỉ có thể đi qua các byte và mỗi khi bạn thấy một byte loại 111110xx thì chỉ phát ra một '?' đến đầu ra-dòng/mảng trong khi bỏ qua 4 byte tiếp theo từ đầu vào; tương tự cho các chuỗi 6 byte.

Answer 3

Một giải pháp đơn giản khác là sử dụng cụm từ thông dụng [^\u0000-\uFFFF]. Ví dụ: trong java:

text.replaceAll("[^\\u0000-\\uFFFF]", "\uFFFD");