của Ruby 'chia': không hợp lệ byte chuỗi trong UTF-8 (ArgumentError)

Question

tôi đang cố gắng để cư đối tượng phim, nhưng khi phân tích cú pháp thông qua các tập tin u.item tôi nhận được lỗi này:

`split': invalid byte sequence in UTF-8 (ArgumentError)

File.open("Data/u.item", "r") do |infile| 
      while line = infile.gets 
       line = line.split("|") 
      end 
end 

Các lỗi xảy ra chỉ khi cố gắng chia các dòng với dấu chấm câu quốc tế ưa thích.

Đây là một mẫu

543|Misérables, Les (1995)|01-Jan-1995||http://us.imdb.com/M/title-exact?Mis%E9rables%2C%20Les%20%281995%29|0|0|0|0|0|0|0|0|1|0|0|0|1|0|0|0|0|0|0

Có một công việc xung quanh ??

Answer 1

Ruby có phần nhạy cảm với các vấn đề về mã hóa ký tự. Bạn có thể làm một số điều có thể giải quyết vấn đề của bạn. Ví dụ:

1. Đặt nhận xét mã hóa ở đầu tệp nguồn của bạn.

   # encoding: utf-8 
   

2. Rõ ràng mã hóa dòng của bạn trước khi tách.

   line = line.encode('UTF-8').split("|") 
   

3. Thay thế các ký tự không hợp lệ, thay vì tăng Encoding :: InvalidByteSequenceError exception.

   line.encode('UTF-8', :invalid => :replace).split("|") 
   

Đưa ra những gợi ý một shot, và cập nhật câu hỏi của bạn nếu không ai trong số họ làm việc cho bạn. Hy vọng nó giúp!

Answer 2

tôi phải buộc các mã hóa của mỗi dòng để iso-8859-1 (đó là bộ ký tự châu Âu) ... http://en.wikipedia.org/wiki/ISO/IEC_8859-1

a=[] 
IO.foreach("u.item") {|x| a << x} 
m=[] 
a.each_with_index {|line,i| x=line.force_encoding("iso-8859-1").split("|"); m[i]=x}