Chuyển đổi các ký tự không phải ASCII từ ASCII-8BIT sang UTF-8

Question

Tôi đang kéo văn bản từ các trang web từ xa và cố gắng tải nó vào ứng dụng Ruby 1.9/Rails 3 sử dụng utf-8 theo mặc định.

Dưới đây là một ví dụ về một số văn bản vi phạm:

vẻ

Cancer Res; 71(3); 1-11. ©2011 AACR.\n 

Đó là mã bản quyền mở rộng như thế này:

Cancer Res; 71(3); 1-11. \xC2\xA92011 AACR.\n 

của Ruby nói với tôi chuỗi được mã hóa như ASCII-8 bit và ăn vào của tôi Ứng dụng Rails mang lại cho tôi điều này:

incompatible character encodings: ASCII-8BIT and UTF-8 

Tôi có thể xóa mã bản quyền bằng cách sử dụng lại gex

str.gsub(/[\x00-\x7F]/n,'?') 

để sản xuất này

Cancer Res; 71(3); 1-11. ??2011 AACR.\n 

Nhưng làm thế nào tôi có thể nhận được một biểu tượng quyền tác giả (và nhiều biểu tượng khác như thư từ Hy Lạp) chuyển vào cùng một biểu tượng trong UTF-8? Chắc chắn nó có thể ...

tôi thấy tài liệu tham khảo để sử dụng force_encoding nhưng điều này không làm việc:

str.force_encoding('utf-8').encode 

Tôi nhận ra có rất nhiều người khác với vấn đề tương tự nhưng tôi chưa thấy một giải pháp mà công trinh.

Answer 1

này làm việc cho tôi:

#encoding: ASCII-8BIT 
str = "\xC2\xA92011 AACR" 
p str, str.encoding 
#=> "\xC2\xA92011 AACR" 
#=> #<Encoding:ASCII-8BIT> 

str.force_encoding('UTF-8') 
p str, str.encoding 
#=> "©2011 AACR" 
#=> #<Encoding:UTF-8> 

Answer 2

tôi sử dụng để làm việc này cho một kịch bản mà cạo trang Hy Lạp Windows mã hóa, sử dụng mở uri, iconv và Hpricot:

doc = open(DATA_URL) 
doc.rewind 
data = Hpricot(Iconv.conv('utf-8', "WINDOWS-1253", doc.readlines.join("\n"))) 

Tôi tin đó là Ruby 1.8.7, không chắc chắn mọi thứ bằng ruby ​​như thế nào 1.9

Answer 3

Có hai khả năng:

1. Dữ liệu đầu vào đã là UTF-8, nhưng Ruby không biết điều đó. Điều đó có vẻ là trường hợp của bạn, vì "\ xC2 \ xA9" là hợp lệ UTF-8 cho biểu tượng bản quyền. Trong trường hợp này, bạn chỉ cần nói với Ruby rằng dữ liệu đã được UTF-8 sử dụng force_encoding.

   Ví dụ "\ xC2 \ xA9" .force_encoding ('ASCII-8BIT') sẽ tạo lại bit có liên quan của dữ liệu đầu vào của bạn. Và "\ xC2 \ xA9". Force_encoding ('ASCII-8BIT'). Force_encoding ('UTF-8') sẽ chứng minh rằng bạn có thể nói với Ruby rằng nó thực sự là UTF-8 và có được kết quả mong muốn.

2. Dữ liệu đầu vào nằm trong một số mã hóa khác và bạn cần Ruby chuyển mã sang UTF-8. Trong trường hợp đó, bạn phải nói cho Ruby biết mã hóa hiện tại là gì (ASCII-8BIT là ruby-speak cho nhị phân, nó không phải là mã hóa thực), sau đó yêu cầu Ruby chuyển mã nó.

   Ví dụ: giả sử dữ liệu đầu vào của bạn là ISO-8859-1. Trong đó mã hóa biểu tượng bản quyền chỉ là "\ xA9". Điều này sẽ tạo ra một lượng dữ liệu như vậy: "\ xA9" .force_encoding ('ISO-8859-1') Và điều này sẽ chứng minh rằng bạn có thể làm cho Ruby chuyển mã sang UTF-8: "\ xA9" .force_encoding ('ISO -8859-1 ').encode ('UTF-8')