Các trang web như Hubspot theo dõi các liên kết trong nước như thế nào?

Question

Có phải tất cả các loại trang web này đều chỉ xóa bất hợp pháp Google hoặc công cụ tìm kiếm khác không?
Theo như tôi có thể nói đó là không có cách 'hợp pháp' để có được dữ liệu này cho một trang web thương mại .. Yahoo! api (http://developer.yahoo.com/search/siteexplorer/V1/inlinkData.html) chỉ dành cho việc sử dụng phi thương mại, Yahoo! Boss không cho phép truy vấn tự động, v.v.
Bất kỳ ý tưởng nào?

Answer 1

Ví dụ, nếu bạn muốn tìm tất cả các liên kết đến trang chủ của Google, tìm kiếm

link:http://www.google.com 

Vì vậy, nếu bạn muốn tìm tất cả các inbound link, bạn chỉ có thể đi qua cây của trang web của bạn, và cho mỗi mục tìm thấy, tạo URL. Sau đó truy vấn Google cho:

link:URL 

Và bạn sẽ nhận được bộ sưu tập tất cả các liên kết mà Google có từ các trang web khác vào trang web của bạn.

Đối với tính hợp pháp của việc thu hoạch như vậy, tôi chắc chắn nó không phải là chính xác hợp pháp để tạo ra lợi nhuận từ nó, nhưng đó là không bao giờ dừng lại bất cứ ai trước, phải không?

(Vì vậy, tôi sẽ không bận tâm tự hỏi liệu họ đã làm điều đó hay không. Chỉ cần cho rằng họ làm.)

Answer 2

Tôi không biết những gì hubspot làm, nhưng, nếu bạn muốn tìm hiểu những gì các trang web liên kết đến trang web của bạn và bạn không có phần cứng để thu thập thông tin trên web, một điều bạn có thể làm là theo dõi HTTP_REFERER khách truy cập vào trang web của bạn. Ví dụ: đây là cách Google Analytics (theo như tôi biết) có thể cho bạn biết khách truy cập của bạn đến từ đâu. Điều này không đáng tin cậy 100% vì không phải tất cả các trình duyệt đều đặt nó, đặc biệt là trong "Chế độ Riêng tư", nhưng bạn chỉ cần một khách truy cập trên mỗi liên kết để biết rằng nó tồn tại!

Điều này được hoàn thành bằng cách nhúng tập lệnh vào từng trang web của bạn (thường ở đầu trang hoặc chân trang chung). Ví dụ: nếu bạn kiểm tra nguồn cho trang bạn đang đọc, bạn sẽ tìm thấy (ngay dưới cùng) một tập lệnh báo cáo lại thông tin của Google về lượt truy cập của bạn.

Bây giờ điều này sẽ không cho bạn biết liệu có liên kết nào không có ai từng sử dụng để truy cập vào trang web của bạn, nhưng hãy đối mặt với nó, chúng ít thú vị hơn những người thực sự sử dụng.