Thư viện trình thu thập dữ liệu web PHP nào có sẵn?

Question

Tôi đang tìm một số tập lệnh trình thu thập thông tin web PHP mạnh mẽ và được ghi lại tài liệu. Có lẽ một cổng PHP của dự án Java - http://wiki.apache.org/nutch/NutchTutorial

Tôi đang tìm cả miễn phí và không phiên bản miễn phí.

Answer 1

Chỉ cần thử Snoopy.

Trích: ". Snoopy là một lớp học PHP mà mô phỏng một trình duyệt web Nó tự động hóa nhiệm vụ lấy nội dung trang web và đăng các hình thức, ví dụ"

Answer 2

Bạn có thể sử dụng PHP Simple HTML DOM Parser. Nó thực sự đơn giản và hữu ích.

Answer 3

Tôi đã sử dụng đơn giản DOM HTML cho khoảng 3 năm trước khi tôi phát hiện ra phpQuery. Nó nhanh hơn rất nhiều, không hoạt động đệ quy (bạn có thể thực sự đổ nó) và có hỗ trợ đầy đủ cho các bộ chọn và phương thức jQuery.

Answer 4

Không ai đề cập đến wget là điểm khởi đầu tốt ?.

 
wget -r --level=10 -nd http://www.mydomain.com/ 

More @http://www.erichynds.com/ubuntulinux/automatically-crawl-a-website-looking-for-errors/

Answer 5

nếu bạn đang nghĩ về một thành phần nền tảng vững chắc hơn cho một cố gắng để http://symfony.com/doc/2.0/components/dom_crawler.html

nó là tuyệt vời, có một tính năng như selector css.

Answer 6

https://github.com/fabpot/Goutte cũng là một thư viện tốt tương thích với tiêu chuẩn psr-0.

Answer 7

Có một hướng dẫn Greate here kết hợp guzzlehttp và symfony/dom-crawler

Trong trường hợp liên kết bị mất ở đây là mã bạn có thể tận dụng.

use Guzzle\Http\Client; 
use Symfony\Component\DomCrawler\Crawler; 
use RuntimeException; 

// create http client instance 
$client = new GuzzleHttp\ClientClient('http://download.cloud.com/releases'); 

// create a request 
$response = $client->request('/3.0.6/api_3.0.6/TOC_Domain_Admin.html'); 

// get status code 
$status = $response->getStatusCode(); 

// this is the response body from the requested page (usually html) 
//$result = $response->getBody(); 

// crate crawler instance from body HTML code 
$crawler = new Crawler($response->getBody(true)); 

// apply css selector filter 
$filter = $crawler->filter('div.apismallbullet_box'); 
$result = array(); 

if (iterator_count($filter) > 1) { 

    // iterate over filter results 
    foreach ($filter as $i => $content) { 

     // create crawler instance for result 
     $cralwer = new Crawler($content); 
     // extract the values needed 
     $result[$i] = array(
      'topic' => $crawler->filter('h5')->text(); 
      'className' => trim(str_replace(' ', '', $result[$i]['topic'])) . 'Client' 
     ); 
    } 
} else { 
    throw new RuntimeException('Got empty result processing the dataset!'); 
}