Xóa các ký tự không phải UTF khỏi một chuỗi trong Ruby?

Question

Làm cách nào để xóa các ký tự không phải UTF8 khỏi chuỗi ruby? Tôi có một chuỗi có ví dụ "xC2" trong đó. Tôi muốn loại bỏ char đó khỏi chuỗi sao cho nó trở thành một UTF8 hợp lệ.

này:

text.gsub!(/\xC2/, '') 

trả về một lỗi:

incompatible encoding regexp match (ASCII-8BIT regexp with UTF-8 string) 

tôi đang tìm kiếm tại text.unpack ('U *') và string.pack là tốt, nhưng đã không nhận được bất cứ nơi nào.

Answer 1

Bạn có thể sử dụng /n, như trong

text.gsub!(/\xC2/n, '') 

để buộc các biểu thức chính quy để hoạt động trên byte.

Bạn có chắc chắn đây là điều bạn muốn không? Bất kỳ ký tự Unicode nào trong phạm vi [U + 80, U + BF] sẽ có \xC2 ở dạng mã hóa UTF-8 của nó.

Answer 2

Bạn có thể làm điều đó như thế này

# encoding: utf-8 

class String 
    def validate_encoding 
    chars.select(&:valid_encoding?).join 
    end 
end 

puts "testing\xC2 a non UTF-8 string".validate_encoding 
#=>testing a non UTF-8 string 

Answer 3

Hãy thử iconv

1.9.3p194 :001 > require 'iconv' 
# => true 
1.9.3p194 :002 > string = "testing\xC2 a non UTF-8 string" 
# => "testing\xC2 a non UTF-8 string" 
1.9.3p194 :003 > ic = Iconv.new('UTF-8//IGNORE', 'UTF-8') 
# => #<Iconv:0x000000026c9290> 
1.9.3p194 :004 > ic.iconv string 
# => "testing a non UTF-8 string" 

Answer 4

Bạn có thể sử dụng mã hóa cho điều đó. text.encode('UTF-8', :invalid => :replace, :undef => :replace)

Để biết thêm thông nhìn vào Ruby-Docs

Answer 5

data = '' if not (data.force_encoding("UTF-8").valid_encoding?) 

Answer 6

Giải pháp tốt nhất cho vấn đề này mà tôi đã tìm thấy là câu trả lời này đến cùng một câu hỏi: https://stackoverflow.com/a/8711118/363293.

Nói tóm lại: "€foo\xA0".chars.select(&:valid_encoding?).join

Answer 7

Bạn văn bản có mã hóa ASCII-8 bit, thay vào đó bạn nên sử dụng này:

String.delete!("^\u{0000}-\u{007F}"); 

Nó sẽ cắt đứt cùng một mục đích.