Cách phân tích giữa <div class ="foo"> and</div> dễ dàng trong Perl

Question

Tôi muốn phân tích một Trang web thành cấu trúc dữ liệu Perl. Trước tiên tôi tải trang bằng

use LWP::Simple; 
my $html = get("http://f.oo"); 

Bây giờ tôi biết hai cách để giải quyết. Đầu tiên là các biểu thức chính quy và giữ chặt các mô-đun.

Tôi bắt đầu đọc khoảng HTML::Parser và tìm thấy một số ví dụ. Nhưng tôi không chắc chắn về kiến ​​thức của Perl.

mã ví dụ của tôi đi trên

my @links; 

my $p = HTML::Parser->new(); 
$p->handler(start => \&start_handler,"tagname,attr,self"); 
$p->parse($html); 

foreach my $link(@links){ 
    print "Linktext: ",$link->[1],"\tURL: ",$link->[0],"\n"; 
} 

sub start_handler{ 
    return if(shift ne 'a'); 
    my ($class) = shift->{href}; 
    my $self = shift; 
    my $text; 
    $self->handler(text => sub{$text = shift;},"dtext"); 
    $self->handler(end => sub{push(@links,[$class,$text]) if(shift eq 'a')},"tagname"); 
} 

Tôi không hiểu tại sao có hai lần một sự thay đổi. Các secound nên là con trỏ tự. Nhưng đầu tiên làm cho tôi nghĩ rằng tham chiếu tự là allready shiftet, được sử dụng như một Hash và Value cho href được lưu trữ trong $class. Ai đó có thể Giải thích dòng này (my ($class) = shift->{href};)?

Bên cạnh sự thiếu này, tôi không muốn phân tích tất cả các URL, tôi muốn đặt tất cả mã giữa <div class ="foo"> và </div> thành chuỗi, trong đó có nhiều mã nằm giữa các thẻ <div></div>. Vì vậy, tôi hoặc một mô-đun phải tìm đúng điểm. Sau đó tôi đã lên kế hoạch quét chuỗi lần nữa, để tìm các lớp đặc biệt, như <h1>,<h2>, <p class ="foo2"></p>, v.v.

Tôi hy vọng thông tin này sẽ giúp bạn cung cấp cho tôi một số lời khuyên hữu ích và xin lưu ý rằng trước hết tôi muốn cách hiểu dễ hiểu, không phải là một hoạt động tuyệt vời ở cấp độ đầu tiên!

Answer 1

Theo tài liệu, chữ ký của người xử lý là (\%attr, \@attr_seq, $text). Có ba ca, một ca cho mỗi đối số.

my ($class) = shift->{href}; 

tương đương với:

my $class; 
my %attr_seq; 
my $attr_seq_ref; 

$attr_seq_ref = shift; 
%attr_seq = %$attr_seq_ref; 
$class = $attr_seq{'href'}; 

Answer 2

Sử dụng HTML::TokeParser::Simple.

đang chưa được kiểm tra dựa trên mô tả của bạn:

#!/usr/bin/env perl 

use strict; use warnings; 

use HTML::TokeParser::Simple; 

my $p = HTML::TokeParser::Simple->new(url => 'http://example.com/example.html'); 

my $level; 

while (my $tag = $p->get_tag('div')) { 
    my $class = $tag->get_attr('class'); 
    next unless defined($class) and $class eq 'foo'; 

    $level += 1; 

    while (my $token = $p->get_token) { 
     $level += 1 if $token->is_start_tag('div'); 
     $level -= 1 if $token->is_end_tag('div'); 
     print $token->as_is; 
     unless ($level) { 
      last; 
     } 
    } 
} 

Answer 3

HTML :: Parser là chi tiết của một tokenizer hơn một phân tích cú pháp. Nó để lại rất nhiều công việc khó khăn cho bạn. Bạn có cân nhắc sử dụng HTML::TreeBuilder (sử dụng HTML :: Trình phân tích cú pháp) hoặc XML::LibXML (một thư viện tuyệt vời có hỗ trợ HTML) không?

Answer 4

Không cần quá phức tạp. Bạn có thể lấy và tìm các yếu tố trong DOM bằng CSS selectors với Mojo::UserAgent:

say Mojo::UserAgent->new->get('http://f.oo')->res->dom->find('div.foo'); 

hoặc, vòng lặp thông qua các yếu tố được tìm thấy:

say $_ for Mojo::UserAgent->new->get('http://f.oo')->res->dom 
    ->find('div.foo')->each; 

hoặc, vòng lặp sử dụng một callback:

Mojo::UserAgent->new->get('http://f.oo')->res->dom->find('div.foo')->each(sub { 
    my ($count, $el) = @_; 
    say "$count: $el"; 
});