Làm cách nào để chuyển đổi các ký tự không phải ASCII được mã hóa theo UTF8 thành ASCII tương đương trong Perl?

Question

Tôi có một tập lệnh Perl đang được bên thứ ba gọi để gửi cho tôi tên của những người đã đăng ký phần mềm của tôi. Một trong những bên này mã hóa các tên trong UTF-8, vì vậy tôi đã điều chỉnh kịch bản của tôi cho phù hợp để giải mã UTF-8 thành ASCII với Encode :: decode_utf8 (...).

Điều này thường hoạt động tốt, nhưng cứ sau 6 tháng, một trong các tên có chứa ký tự cyrillic, greek hoặc rumani, do đó giải mã các kết quả tên trong các ký tự rác như "ĐŸŸ Ñ ​​". Tôi phải theo dõi với khách hàng và yêu cầu anh ta cho một "phiên bản nhân vật latin" của tên của mình để phát hành một mã số đăng ký.

Vì vậy, có bất kỳ mô-đun Perl nào có thể phát hiện xem có các ký tự như vậy và tự động dịch chúng sang biểu diễn ASCII gần nhất của chúng nếu cần thiết không?

Có vẻ như tôi có thể sử dụng Lingua :: Cyrillic :: Translit :: ICAO cộng với Lingua :: DetectCharset để xử lý Cyrillic, nhưng tôi thích thứ gì đó hoạt động với các bộ ký tự khác.

Answer 1

Tôi tin rằng bạn có thể sử dụng Text::Unidecode cho việc này, đó chính xác là những gì nó cố gắng làm.

Answer 2

Nếu bạn phải đối phó với dữ liệu UTF-8 không nằm trong phạm vi ascii, đặt cược tốt nhất của bạn là thay đổi phần phụ trợ của bạn để nó không bị nghẹt thở trên utf-8. Làm thế nào bạn sẽ đi về chuyển ngữ chữ kanji?

Answer 3

Nếu bạn nhận được văn bản cyrilic, không có "đại diện ASCII gần nhất" cho nhiều ký tự.

Answer 4

Trong tài liệu hướng dẫn cho Text :: Unicode, dưới "Hãy cẩn thận", dường như cụm từ này là không chính xác:

Hãy chắc chắn rằng các dữ liệu đầu vào thực sự là một chuỗi utf8.

UTF-8 là mã hóa có độ dài thay đổi, trong khi văn bản :: Unidecode chỉ chấp nhận mã hóa độ dài cố định (hai byte) cho mỗi ký tự. Vì vậy, câu đó nên đọc:

Đảm bảo rằng dữ liệu đầu vào thực sự là một chuỗi ký tự Unicode hai byte.

Điều này còn được gọi là UCS-2.

Nếu bạn muốn chuyển đổi chuỗi mà thực sự là utf8, bạn sẽ làm điều đó như sau:

my $decode_status = utf8::decode($input_to_be_converted); 
my $converted_string = unidecode ($input_to_be_converted);