Cách đọc một trang web bằng PHP

Question

Tôi đang cố gắng lưu một số trang web vào tệp văn bản bằng cách sử dụng tập lệnh PHP.

Làm cách nào để tải trang web vào bộ đệm tệp bằng PHP và xóa thẻ HTML?

Answer 1

• Cách dễ dàng:fopen() hoặc file_get_contents() URL: fopen("http://google.com/", "r")
• Cách thông minh: Sử dụng cURL library
• Cách thông minh khác:http_get() từ mô-đun http PHP
• Cách cứng: Tạo yêu cầu HTTP và gửi yêu cầu với fsockopen() hoặc stream_socket_client()
• C cách: Gửi một yêu cầu HTTP sử dụng sockets
• Cách ngu ngốc: gọi một công cụ bên ngoài như wget hay curl qua system()

Không ai trong số những được đảm bảo có sẵn trên máy chủ của bạn mặc dù.

Answer 2

Một cách:

$url = "http://www.brothersoft.com/publisher/xtracomponents.html"; 
$page = file_get_contents($url); 
$outfile = "xtracomponents.html"; 
file_put_contents($outfile, $page); 

Đoạn mã trên chỉ là một ví dụ và thiếu bất kỳ kiểm tra lỗi và xử lý (!).

Answer 3

Như các câu trả lời khác đã nói, các hàm luồng PHP chuẩn hoặc cURL là đặt cược tốt nhất của bạn để truy xuất HTML. Như để loại bỏ các thẻ, đây là một vài phương pháp tiếp cận:

Lựa chọn # 1: Sử dụng tiện ích Tidy, nếu có sẵn trên máy chủ của bạn, đi bộ qua cây tài liệu đệ quy và trả lại văn bản từ các nút. Một cái gì đó như thế này:

function textFromHtml(TidyNode $node) { 
    if ($node->isText()) { 
     return $node->value; 
    } else if ($node->hasChildren()) { 
     $childText = ''; 
     foreach ($node->child as $child) 
      $childText .= textFromHtml($child); 
     return $childText; 
    } 
    return ''; 
} 

Bạn có thể muốn một cái gì đó phức tạp hơn đó, ví dụ, thay thế <br /> thẻ (nơi $node->name == 'br') với dòng mới, nhưng điều này sẽ làm cho một sự khởi đầu.

Sau đó, tải văn bản của HTML vào đối tượng gọn gàng và gọi hàm của bạn trên nút nội dung. Nếu bạn có các nội dung trong một chuỗi, sử dụng:

$tidy = new tidy(); 
$tidy->parseString($contents); 
$text = textFromHtml($tidy->body()); 

Lựa chọn # 2: Sử dụng regexes dải mọi thứ giữa < và >. Bạn có thể (và có lẽ nên) phát triển một regex phức tạp hơn, ví dụ, chỉ khớp các thẻ bắt đầu hoặc kết thúc HTML hợp lệ. Bất kỳ lỗi nào trong đồng bộ của trang, giống như khung góc đi lạc trong văn bản nội dung, có thể có nghĩa là đầu ra rác nếu bạn không cẩn thận. Đây là lý do tại sao Tidy rất đẹp (nó được thiết kế đặc biệt để dọn dẹp các trang xấu), nhưng nó có thể không có sẵn.

Answer 4

Tôi khuyên bạn nên xem qua lớp SimpleHTML DOM;

SimpleHTML DOM Parser at SourceForge

Với nó, bạn có thể tìm kiếm cây DOM sử dụng selectors css như với chức năng $() của jQuery hoặc PrototypeJS $$() chức năng.

Mặc dù nó hoạt động với file_get_contents() để có được nội dung của một trang web, bạn có thể vượt qua nó HTML chỉ với một số lớp cURL của bạn (nếu bạn cần phải đăng nhập, vv)