Nhận tất cả các liên kết của trang web bằng Ruby

Question

Tôi đang cố truy xuất mọi liên kết bên ngoài của trang web bằng Ruby. Tôi đang sử dụng String.scan với regex này:

/href="https?:[^"]*|href='https?:[^']*/i 

Sau đó, tôi có thể sử dụng gsub để loại bỏ các phần href:

str.gsub(/href=['"]/) 

này hoạt động tốt, nhưng tôi không chắc chắn nếu nó hiệu quả về hiệu suất. Điều này có được sử dụng hay tôi nên làm việc với một trình phân tích cú pháp cụ thể hơn (ví dụ nokogiri)? Cách nào tốt hơn?

Cảm ơn!

Answer 1

lý do tại sao bạn không sử dụng các nhóm trong mô hình của bạn? ví dụ:

/http[s]?:\/\/(.+)/i 

vì vậy nhóm đầu tiên sẽ là liên kết bạn đã tìm kiếm.

Answer 2

Bạn có thể đặt các nhóm trong regex của mình không? Điều đó sẽ làm giảm biểu thức thông thường của bạn tới 1 thay vì 2.

Answer 3

Sử dụng biểu thức thông thường là tốt cho một kịch bản nhanh chóng và bẩn, nhưng Nokogiri là rất đơn giản để sử dụng:

require 'nokogiri' 
require 'open-uri' 

fail("Usage: extract_links URL [URL ...]") if ARGV.empty? 

ARGV.each do |url| 
    doc = Nokogiri::HTML(open(url)) 
    hrefs = doc.css("a").map do |link| 
    if (href = link.attr("href")) && !href.empty? 
     URI::join(url, href) 
    end 
    end.compact.uniq 
    STDOUT.puts(hrefs.join("\n")) 
end 

Nếu bạn muốn chỉ là phương pháp, refactor nó một chút để nhu cầu của bạn:

def get_links(url) 
    Nokogiri::HTML(open(url).read).css("a").map do |link| 
    if (href = link.attr("href")) && href.match(/^https?:/) 
     href 
    end 
    end.compact 
end 

Answer 4

Mechanize sử dụng Nokogiri dưới mui xe nhưng đã được xây dựng trong niceties cho phân tích cú pháp HTML, bao gồm liên kết:

require 'mechanize' 

agent = Mechanize.new 
page = agent.get('http://example.com/') 

page.links_with(:href => /^https?/).each do |link| 
    puts link.href 
end 

Sử dụng một phân tích cú pháp thường phải lúc nào cũng tốt hơn so với sử dụng biểu thức thông thường để phân tích cú pháp HTML. Đây là câu hỏi thường gặp ở đây trên Stack Overflow, với this là câu trả lời nổi tiếng nhất. Tại sao điều này là trường hợp? Bởi vì xây dựng một biểu thức chính quy mạnh mẽ có thể xử lý các biến thể của HTML thực, một số hợp lệ không, rất khó và cuối cùng phức tạp hơn một giải pháp phân tích cú pháp đơn giản sẽ hoạt động cho tất cả các trang sẽ hiển thị trong trình duyệt.

Answer 5

Tôi là một fan hâm mộ lớn của Nokogiri, nhưng tại sao lại phát minh ra bánh xe?

mô-đun URI Ruby đã có extract phương pháp để làm điều này:

URI::extract(str[, schemes][,&blk]) 

Từ các tài liệu:

chiết xuất URI từ một chuỗi. Nếu khối đã cho, lặp lại qua tất cả các URI được so khớp. Trả về nil nếu khối đã cho hoặc mảng có khớp.

require "uri" 

URI.extract("text here http://foo.example.org/bla and here mailto:test@example.com and here also.") 
# => ["http://foo.example.com/bla", "mailto:test@example.com"] 

Bạn có thể sử dụng Nokogiri đi DOM và kéo tất cả các thẻ có URL, hoặc có nó lấy chỉ là văn bản và vượt qua nó để URI.extract, hoặc chỉ để cho URI.extract làm tất cả.

Và tại sao lại sử dụng trình phân tích cú pháp, chẳng hạn như Nokogiri, thay vì các mẫu regex?Bởi vì HTML và XML, có thể được định dạng theo nhiều cách khác nhau và vẫn hiển thị chính xác trên trang hoặc chuyển dữ liệu một cách hiệu quả. Trình duyệt rất tha thứ khi nói đến việc chấp nhận đánh dấu xấu. Mặt khác, các mẫu Regex hoạt động trong các phạm vi "chấp nhận" rất hạn chế, trong đó phạm vi được xác định bởi bạn dự đoán các biến thể trong đánh dấu như thế nào hoặc ngược lại, bạn dự đoán cách thức mô hình của mình có thể sai khi nào trình bày với các mẫu không mong muốn.

Trình phân tích cú pháp không hoạt động như một regex. Nó xây dựng một đại diện nội bộ của tài liệu và sau đó đi qua đó. Nó không quan tâm làm thế nào các tập tin/đánh dấu được đặt ra, nó hoạt động của nó trên các đại diện nội bộ của DOM. Nokogiri thư giãn phân tích cú pháp của nó để xử lý HTML, bởi vì HTML nổi tiếng vì được viết kém. Điều đó giúp chúng tôi vì hầu hết các Nokogiri HTML không xác thực có thể sửa chữa nó. Thỉnh thoảng tôi sẽ gặp phải một cái gì đó được viết một cách tồi tệ rằng Nokogiri không thể sửa chữa nó một cách chính xác, vì vậy tôi sẽ phải cho nó một cú hích nhỏ bằng cách tinh chỉnh HTML trước khi tôi chuyển nó cho Nokogiri; Tôi vẫn sẽ sử dụng trình phân tích cú pháp, thay vì cố gắng sử dụng các mẫu.