Kiểm tra kiểu UTF-8 dữ liệu 3-byte, hoặc 4-byte Unicode

Question

Trong cơ sở dữ liệu của tôi, tôi nhận được lỗi

com.mysql.jdbc.MysqlDataTruncation: Data truncation: Data too long for column 

tôi sử dụng Java và MySQL 5. Như tôi biết 4-byte Unicode là i pháp Java , nhưng bất hợp pháp trong MySQL 5, tôi nghĩ rằng nó có thể gây ra vấn đề của tôi và tôi muốn kiểm tra loại dữ liệu của tôi, vì vậy đây là câu hỏi của tôi: Làm thế nào tôi có thể kiểm tra dữ liệu UTF-8 của tôi là Unicode 3 byte hoặc 4 byte ?

Answer 1

UTF-8 mã hóa mọi thứ trên mặt phẳng đa ngôn ngữ cơ bản (ví dụ: U + 0000 thành U + FFFF) trong 1-3 byte. Do đó, bạn chỉ cần kiểm tra xem mọi thứ trong chuỗi là trong BMP.

Trong Java, có nghĩa là kiểm tra xem có bất kỳ char (mà là một mã đơn vị UTF-16) là một nhân vật đại diện cao hay thấp, như Java sẽ sử dụng cặp thay thế để mã hóa ký tự-BMP phi:

public static boolean isEntirelyInBasicMultilingualPlane(String text) { 
    for (int i = 0; i < text.length(); i++) { 
     if (Character.isSurrogate(text.charAt(i))) { 
      return false; 
     } 
    } 
    return true; 
} 

Answer 2

Nếu bạn không muốn hỗ trợ vượt BMP, bạn chỉ có thể tách những nhân vật trước khi đưa nó cho MySQL:

public static String withNonBmpStripped(String input) { 
    if(input == null) throw new IllegalArgumentException("input"); 
    return input.replaceAll("[^\\u0000-\\uFFFF]", ""); 
} 

Nếu bạn muốn hỗ trợ vượt BMP, bạn cần MySQL 5.5+ và bạn cần phải thay đổi tất cả mọi thứ đó là utf8 đến utf8mb4 (collations, charsets ...). Nhưng bạn cũng cần sự hỗ trợ cho điều này trong tài xế mà tôi là không quen thuộc. Xử lý các ký tự này trong Java cũng là một nỗi đau vì chúng được trải rộng trên 2 chars và do đó cần xử lý đặc biệt trong nhiều thao tác.

Answer 3

cách tiếp cận tốt nhất để dải charactres phi BMP trong java mà tôi found như sau:

inputString.replaceAll("[^\\u0000-\\uFFFF]", "\uFFFD");