Cách trích xuất URL từ văn bản

Question

Làm cách nào để trích xuất tất cả URL từ một tệp văn bản thuần túy trong Ruby?

Tôi đã thử một số thư viện nhưng không thành công trong một số trường hợp. Cách tốt nhất là gì?

Answer 1

Trường hợp nào bị lỗi?

Theo thư viện regexpert, bạn có thể sử dụng

regexp = /(^$)|(^(http|https):\/\/[a-z0-9]+([\-\.]{1}[a-z0-9]+)*\.[a-z]{2,5}(([0-9]{1,5})?\/.*)?$)/ix 

và sau đó thực hiện một scan trên văn bản.

EDIT: Có vẻ như regexp hỗ trợ chuỗi rỗng. Chỉ cần loại bỏ các đầu (^$) và bạn đã hoàn tất

Answer 2

Bạn có thể sử dụng regex và .scan()

string.scan(/(https?:\/\/([-\w\.]+)+(:\d+)?(\/([\w\/_\.]*(\?\S+)?)?)?)/) 

Bạn có thể bắt đầu với regex đó và điều chỉnh nó theo nhu cầu của bạn.

Answer 3

Nếu bạn thích sử dụng những gì đã được cung cấp cho bạn trong Ruby:

require "uri" 
URI.extract("text here http://foo.example.org/bla and here mailto:test@example.com and here also.") 
# => ["http://foo.example.org/bla", "mailto:test@example.com"] 

Read more: http://railsapi.com/doc/ruby-v1.8/classes/URI.html#M004495

Answer 4

Tôi đã sử dụng twitter-text đá quý

require "twitter-text" 
class UrlParser 
    include Twitter::Extractor 
end 

urls = UrlParser.new.extract_urls("http://stackoverflow.com") 
puts urls.inspect 

Answer 5

require 'uri'  
foo = #<URI::HTTP:0x007f91c76ebad0 URL:http://foobar/00u0u_gKHnmtWe0Jk_600x450.jpg> 
foo.to_s 
=> "http://foobar/00u0u_gKHnmtWe0Jk_600x450.jpg" 

chỉnh sửa: giải thích

Đối với những người đang gặp sự cố khi phân tích cú pháp của URI thông qua phản hồi JSON hoặc bằng cách sử dụng công cụ cào như Nokogiri hoặc Mechanize, giải pháp này làm việc cho tôi.

Answer 6

Nếu đầu vào của bạn trông giống như sau:

"http://i.imgur.com/c31IkbM.gifv;http://i.imgur.com/c31IkbM.gifvhttp://i.imgur.com/c31IkbM.gifv" 

tức là URL này không nhất thiết phải có khoảng trắng xung quanh họ, có thể được giới hạn bởi bất kỳ dấu phân cách, hoặc không có dấu phân cách giữa họ ở tất cả, bạn có thể sử dụng cách tiếp cận sau:

def process_images(raw_input) 
    return [] if raw_input.nil? 
    urls = raw_input.split('http') 
    urls.shift 
    urls.map { |url| "http#{url}".strip.split(/[\s\,\;]/)[0] } 
end 

Hy vọng điều đó sẽ hữu ích!