Chuyển đổi UTF-8 sang ASCII với các bổ sung

Question

chúng tôi chấp nhận tất cả các loại ký tự quốc gia trong chuỗi UTF-8 trên đầu vào và chúng tôi cần chuyển đổi chúng thành chuỗi ASCII trên đầu ra cho một số mục đích sử dụng cũ. (Chúng tôi không chấp nhận ký tự Trung Quốc và Nhật Bản, chỉ có ngôn ngữ châu Âu)

Chúng tôi đã một tiện ích nhỏ để thoát khỏi tất cả các dấu:

public static final String toBaseCharacters(final String sText) { 
    if (sText == null || sText.length() == 0) 
     return sText; 

    final char[] chars = sText.toCharArray(); 
    final int iSize = chars.length; 
    final StringBuilder sb = new StringBuilder(iSize); 

    for (int i = 0; i < iSize; i++) { 
     String sLetter = new String(new char[] { chars[i] }); 
     sLetter = Normalizer.normalize(sLetter, Normalizer.Form.NFC); 

     try { 
      byte[] bLetter = sLetter.getBytes("UTF-8"); 
      sb.append((char) bLetter[0]); 
     } catch (UnsupportedEncodingException e) { 
     } 
    } 
    return sb.toString(); 
} 

Câu hỏi đặt ra là làm thế nào để thay thế tất cả các s nhọn Đức (ß, Đ, đ) và các ký tự khác thông qua phương pháp chuẩn hóa ở trên, với các chất bổ sung (trong trường hợp ß, bổ sung có thể là "ss" và trong trường hợp bổ sung od Đ sẽ là "D" hoặc "Dj").

Có cách nào đơn giản để làm điều đó, mà không có hàng triệu .replaceAll() gọi?

Ví dụ: Đonardan = Djonardan, Blaß = Blass, v.v.

Chúng tôi có thể thay thế tất cả các ký tự "có vấn đề" bằng khoảng trống, nhưng muốn tránh điều này để làm cho đầu ra tương tự như đầu vào càng tốt.

Cảm ơn bạn đã trả lời của bạn,

Bozo

Answer 1

Có một số cách đơn giản để làm điều đó, mà không cần triệu .replaceAll() gọi?

Nếu bạn chỉ hỗ trợ ngôn ngữ châu Âu, tiếng Latinh, khoảng 100 là đủ; điều đó chắc chắn có thể thực hiện được: Hãy lấy Unicode charts cho Latin-1 Supplement và Latin Extended-A và bắt đầu bữa tiệc String.replace. :-)

Answer 2

Bạn muốn sử dụng ICU4J. Nó bao gồm các lớp học com.ibm.icu.text.Transliterator, mà dường như có thể làm những gì bạn đang tìm kiếm.

Answer 3

Tôi đang sử dụng một cái gì đó như thế này:

Transliterator transliterator = Transliterator.getInstance("Any-Latin; Upper; Lower; NFD; [:Nonspacing Mark:] Remove; NFC", Transliterator.FORWARD); 

Answer 4

Dưới đây là chuyển đổi của tôi trong đó sử dụng Lucene ...

private final KeywordTokenizer keywordTokenizer = new KeywordTokenizer(new StringReader("")); 
private final ASCIIFoldingFilter asciiFoldingFilter = new ASCIIFoldingFilter(keywordTokenizer); 
private final TermAttribute termAttribute = (TermAttribute) asciiFoldingFilter.getAttribute(TermAttribute.class); 

public String process(String line) 
{ 
    if (line != null) 
    { 
     try 
     { 
      keywordTokenizer.reset(new StringReader(line)); 
      if (asciiFoldingFilter.incrementToken()) 
      { 
       return termAttribute.term(); 
      } 
     } 
     catch (IOException e) 
     { 
      logger.warn("Failed to parse: " + line, e); 
     } 
    } 
    return null; 
}