Ruby có hỗ trợ unicode không và nó hoạt động như thế nào?

Question

Tôi chỉ mới bắt đầu học Ruby (để cuối cùng chuyển sang RoR), nhưng tôi đã được thông báo rằng Ruby không hỗ trợ unicode. Có đúng không? Làm thế nào để Ruby lập trình đi về hỗ trợ unicode?

Answer 1

Những gì bạn nghe đã lỗi thời và áp dụng (chỉ một phần) với Ruby 1.8 hoặc trước đó. Phiên bản ổn định mới nhất của Ruby (1.9), hỗ trợ không ít hơn mã hóa ký tự khác nhau (được tính trên hệ thống của tôi ngay bây giờ). Điều này bao gồm khá nhiều định dạng chuyển đổi Unicode đã biết, bao gồm UTF-8.

Phiên bản ổn định trước của Ruby (1.8) có hỗ trợ một phần cho UTF-8.

Nếu bạn sử dụng Rails, nó sẽ chăm sóc mã hóa UTF-8 mặc định cho bạn. Nếu tất cả những gì bạn cần là nhận thức mã hóa UTF-8, Rails sẽ làm việc cho bạn cho dù bạn chạy Ruby 1.9 hay Ruby 1.8. Nếu bạn có yêu cầu mã hóa ký tự rất cụ thể, bạn nên hướng đến Ruby 1.9.

Nếu bạn thực sự quan tâm, dưới đây là series of articles mô tả các vấn đề mã hóa trong Ruby 1.8 và cách chúng hoạt động, và cuối cùng được giải quyết trong Ruby 1.9. Rails vẫn bao gồm các giải pháp cho nhiều lỗ hổng phổ biến trong Ruby 1.8.

Answer 2

Điều đó không đúng. Điều đúng là Ruby không hỗ trợ chỉ Unicode, nó cũng hỗ trợ toàn bộ các mã hóa khác.

Điều này trái ngược với các hệ thống như Java, .NET hoặc Python, tuân theo mô hình "Một mã hóa để quy tắc tất cả". Ruby có một trong những nhà thiết kế hệ thống m17n của Ruby gọi một mô hình "CSI" (Code Set Indepedent), có nghĩa là thay vì tất cả các chuỗi chỉ có một và cùng một mã hóa, mỗi chuỗi được gắn với mã hóa riêng của nó.

Điều này có một số lợi thế đáng kể cả về tính dễ sử dụng và hiệu suất, bởi vì nó có nghĩa là nếu mã hóa đầu vào và đầu ra của bạn giống nhau, bạn không bao giờ cần phải chuyển mã, trong khi với mô hình Mã hóa thực, bạn cần chuyển mã hai lần trong trường hợp xấu nhất (và trường hợp xấu nhất không may xảy ra khá thường xuyên, vì hầu hết các môi trường này đã chọn mã hóa nội bộ mà không ai thực sự sử dụng), từ mã hóa đầu vào vào mã hóa nội bộ và sau đó đến mã hóa đầu ra. Trong Ruby, bạn cần chuyển mã nhiều nhất một lần.

Vấn đề cơ bản với mô hình OTE là bất kỳ mã hóa nào bạn chọn là Mã hóa thực, nó sẽ là lựa chọn hoàn toàn tùy ý, vì đơn giản không phải là mã hóa duy nhất mà mọi người sử dụng.

Trong Java, ví dụ, họ đã chọn UCS-2 làm Mã hóa thực. Sau đó, một vài năm sau, hóa ra UCS-2 thực sự không đủ để mã hóa tất cả các ký tự, vì vậy họ phải thực hiện một sự thay đổi không tương thích ngược với Java, để chuyển sang UTF-16 thành Mã hóa thực. Ngoại trừ thời gian đó, một phần đáng kể của thế giới đã chuyển từ UTF-16 sang UTF-8. Nếu Java đã được phát minh ra một vài năm trước đó, họ có thể đã chọn ASCII là Mã hóa thực sự. Nếu nó đã được phát minh ở một quốc gia khác, nó có thể là Shift-JIS. Nếu nó đã được phát minh bởi một công ty khác, nó có thể là EBCDIC. Đó là thực sự là hoàn toàn tùy ý và một lựa chọn quan trọng như vậy không nên là.

Answer 3

Trong this answer cho một câu hỏi khác, một người cho biết họ gặp sự cố với Iconv khi xử lý dữ liệu unicode trong Ruby 1.9, nhưng tôi không thể xác minh tính chính xác của nó.

Answer 4

Thêm dòng sau vào đầu tệp của tôi đã giải quyết được.

# encoding: utf-8 

Answer 5

Đây là câu hỏi khá cũ. Phiên bản ổn định hiện tại của Ruby là 2.0.1. Có, nó xử lý hầu hết các của những gì bạn có thể ném trong Unicode vào nó, nhưng xin lưu ý rằng nó phá vỡ khá dễ dàng.

Hãy xem mẫu và kết quả mã này (lấy cảm hứng từ this):

["noël","","baffle"].each do |str| 
    puts "Result for '#{str}'" 
    puts " Size: #{str.size}" 
    puts " Reverse: [#{str.reverse}]" 
    puts " Uppercase: [#{str.upcase}]" 
end 

Result for 'noël' 
    Size: 5 << bad size 
    Reverse: [l̈eon] <= accent is shifted 
    Uppercase: [NOËL] 
Result for '' 
    Size: 2 
    Reverse: [] 
    Uppercase: [] 
Result for 'baffle' 
    Size: 4 
    Reverse: [efflab] <= doesn't really make sense 
    Uppercase: [BAfflE] <= should be "ELFFAB" 

Vấn đề là: Ruby hiện đại xử lý các vấn đề cơ bản - tính năng chuỗi tiên tiến hơn không nên được tính vào.