Cách tránh "chuỗi byte không hợp lệ" khi tìm liên kết bằng văn bản bằng cách sử dụng Nokogiri

Question

Tôi đang sử dụng Rails 5 với Ruby 4.2 và quét tài liệu mà tôi đã phân tích cú pháp bằng Nokogiri, xem xét cách phân biệt chữ hoa chữ thường với chữ:

a_elt = doc ? doc.xpath('//a').detect { |node| /link[[:space:]]+text/i === node.text } : nil 

Sau khi nhận được mã HTML của trang web của tôi trong content, tôi phân tích nó thành một doc Nokogiri sử dụng:

doc = Nokogiri::HTML(content) 

vấn đề là, tôi nhận được

ArgumentError invalid byte sequence in UTF-8 

trên các trang web nhất định khi sử dụng cụm từ thông dụng ở trên.

2.4.0 :002 > doc.encoding 
=> "UTF-8" 
2.4.0 :003 > doc.xpath('//a').detect { |node| /individual[[:space:]]+results/i === node.text } 
ArgumentError: invalid byte sequence in UTF-8 
    from (irb):3:in `===' 
    from (irb):3:in `block in irb_binding' 
    from /Users/davea/.rvm/gems/ruby-2.4.0@global/gems/nokogiri-1.7.0/lib/nokogiri/xml/node_set.rb:187:in `block in each' 
    from /Users/davea/.rvm/gems/ruby-2.4.0@global/gems/nokogiri-1.7.0/lib/nokogiri/xml/node_set.rb:186:in `upto' 
    from /Users/davea/.rvm/gems/ruby-2.4.0@global/gems/nokogiri-1.7.0/lib/nokogiri/xml/node_set.rb:186:in `each' 
    from (irb):3:in `detect' 
    from (irb):3 
    from /Users/davea/.rvm/gems/ruby-2.4.0@global/gems/railties-5.0.1/lib/rails/commands/console.rb:65:in `start' 
    from /Users/davea/.rvm/gems/ruby-2.4.0@global/gems/railties-5.0.1/lib/rails/commands/console_helper.rb:9:in `start' 
    from /Users/davea/.rvm/gems/ruby-2.4.0@global/gems/railties-5.0.1/lib/rails/commands/commands_tasks.rb:78:in `console' 
    from /Users/davea/.rvm/gems/ruby-2.4.0@global/gems/railties-5.0.1/lib/rails/commands/commands_tasks.rb:49:in `run_command!' 
    from /Users/davea/.rvm/gems/ruby-2.4.0@global/gems/railties-5.0.1/lib/rails/commands.rb:18:in `<top (required)>' 
    from bin/rails:4:in `require' 
    from bin/rails:4:in `<main>' 

Có cách nào tôi có thể viết lại ở trên để tự động tính toán mã hóa hoặc ký tự lạ và không lật?

Answer 1

Câu hỏi của bạn có thể đã được trả lời trước đó. Bạn đã thử phương pháp từ "Is there any way to clean a file of "invalid byte sequence in UTF-8" errors in Ruby?" chưa?

Cụ thể trước khi khối detect, cố gắng để loại bỏ các byte không hợp lệ và ký tự điều khiển, ngoại trừ dòng sản phẩm mới:

doc.scrub!("") 
doc.gsub!(/[[:cntrl:]&&[^\n\r]]/,"") 

Hãy nhớ rằng, scrub! là một Ruby 2.1+ method.