truy xuất các liên kết từ trang web bằng python và BeautifulSoup

Question

Làm cách nào để truy xuất các liên kết của trang web và sao chép địa chỉ url của các liên kết bằng Python?

Answer 1

Dưới đây là một đoạn ngắn bằng cách sử dụng lớp SoupStrainer trong BeautifulSoup:

import httplib2 
from BeautifulSoup import BeautifulSoup, SoupStrainer 

http = httplib2.Http() 
status, response = http.request('http://www.nytimes.com') 

for link in BeautifulSoup(response, parseOnlyThese=SoupStrainer('a')): 
    if link.has_attr('href'): 
     print link['href'] 

Các tài liệu BeautifulSoup thực sự là khá tốt, và bao gồm một số tình huống điển hình:

http://www.crummy.com/software/BeautifulSoup/documentation.html

Chỉnh sửa: Lưu ý rằng tôi đã sử dụng lớp SoupStrainer vì nó hiệu quả hơn một chút (bộ nhớ và tốc độ khôn ngoan), nếu bạn biết những gì bạn đang phân tích cú pháp trước.

Answer 2

import urllib2 
import BeautifulSoup 

request = urllib2.Request("http://www.gpsbasecamp.com/national-parks") 
response = urllib2.urlopen(request) 
soup = BeautifulSoup.BeautifulSoup(response) 
for a in soup.findAll('a'): 
    if 'national-park' in a['href']: 
    print 'found a url with national-park in the link' 

Answer 3

chỉ để nhận được các liên kết, mà không B.soup và regex:

import urllib2 
url="http://www.somewhere.com" 
page=urllib2.urlopen(url) 
data=page.read().split("</a>") 
tag="<a href=\"" 
endtag="\">" 
for item in data: 
    if "<a href" in item: 
     try: 
      ind = item.index(tag) 
      item=item[ind+len(tag):] 
      end=item.index(endtag) 
     except: pass 
     else: 
      print item[:end] 

cho các hoạt động phức tạp hơn, tất nhiên BSoup vẫn ưa thích.

Answer 4

Những người khác đã đề xuất BeautifulSoup, nhưng tốt hơn hết là sử dụng lxml. Mặc dù tên của nó, nó cũng là để phân tích cú pháp và cào HTML. Nó nhanh hơn rất nhiều so với BeautifulSoup và thậm chí còn xử lý HTML "bị hỏng" tốt hơn so với BeautifulSoup (yêu cầu của họ đối với danh tiếng). Nó cũng có API tương thích cho BeautifulSoup nếu bạn không muốn tìm hiểu API lxml.

Ian Blicking agrees.

Không có lý do gì để sử dụng BeautifulSoup nữa, trừ khi bạn đang sử dụng Google App Engine hoặc thứ gì đó không hoàn toàn là Python không được phép.

lxml.html cũng hỗ trợ bộ chọn CSS3 để loại điều này là tầm thường.

Một ví dụ với lxml và xpath sẽ trông như thế này:

import urllib 
import lxml.html 
connection = urllib.urlopen('http://www.nytimes.com') 

dom = lxml.html.fromstring(connection.read()) 

for link in dom.xpath('//a/@href'): # select the url in href for all a tags(links) 
    print link 

Answer 5

Tại sao không sử dụng biểu thức thông thường:

import urllib2 
import re 
url = "http://www.somewhere.com" 
page = urllib2.urlopen(url) 
page = page.read() 
links = re.findall(r"<a.*?\s*href=\"(.*?)\".*?>(.*?)</a>", page) 
for link in links: 
    print('href: %s, HTML text: %s' % (link[0], link[1])) 

Answer 6

Dưới mui xe BeautifulSoup bây giờ sử dụng lxml. Yêu cầu, lxml & việc hiểu danh sách làm cho một combo sát thủ.

import requests 
import lxml.html 

dom = lxml.html.fromstring(requests.get('http://www.nytimes.com').content) 

[x for x in dom.xpath('//a/@href') if '//' in x and 'nytimes.com' not in x] 

Trong danh sách comp, "if '//' và 'url.com' not in x" là một phương pháp đơn giản để xóa danh sách url của url điều hướng nội bộ của trang web, v.v.

Answer 7

Các mã sau đây là để lấy tất cả các liên kết có sẵn trong một trang web sử dụng urllib2 và BeautifulSoup4

import urllib2 
    from bs4 import BeautifulSoup 
    url = urllib2.urlopen("http://www.espncricinfo.com/").read() 
    soup = BeautifulSoup(url) 
    for line in soup.find_all('a'): 
      print(line.get('href')) 

Answer 8

Đối với đầy đủ sake, phiên bản BeautifulSoup 4, làm cho việc sử dụng mã hóa được cung cấp bởi các máy chủ cũng như:

from bs4 import BeautifulSoup 
import urllib2 

resp = urllib2.urlopen("http://www.gpsbasecamp.com/national-parks") 
soup = BeautifulSoup(resp, from_encoding=resp.info().getparam('charset')) 

for link in soup.find_all('a', href=True): 
    print link['href'] 

hoặc phiên bản Python 3:

from bs4 import BeautifulSoup 
import urllib.request 

resp = urllib.request.urlopen("http://www.gpsbasecamp.com/national-parks") 
soup = BeautifulSoup(resp, from_encoding=resp.info().get_param('charset')) 

for link in soup.find_all('a', href=True): 
    print(link['href']) 

và một phiên bản sử dụng requests library, mà như viết sẽ làm việc trong cả hai Python 2 và 3:

from bs4 import BeautifulSoup 
from bs4.dammit import EncodingDetector 
import requests 

resp = requests.get("http://www.gpsbasecamp.com/national-parks") 
http_encoding = resp.encoding if 'charset' in resp.headers.get('content-type', '').lower() else None 
html_encoding = EncodingDetector.find_declared_encoding(resp.content, is_html=True) 
encoding = html_encoding or http_encoding 
soup = BeautifulSoup(resp.content, from_encoding=encoding) 

for link in soup.find_all('a', href=True): 
    print(link['href']) 

Cuộc gọi soup.find_all('a', href=True) tìm tất cả <a> yếu tố mà có một thuộc tính href; các phần tử không có thuộc tính được bỏ qua.

BeautifulSoup 3 ngừng phát triển vào tháng 3 năm 2012; các dự án mới thực sự nên sử dụng BeautifulSoup 4, luôn luôn.

Lưu ý rằng bạn nên để giải mã HTML từ byte thành BeautifulSoup. Bạn có thể thông báo cho BeautifulSoup về các ký tự trả lời được tìm thấy trong tiêu đề phản hồi HTTP để hỗ trợ giải mã, nhưng có thể sai và xung đột với thông tin tiêu đề <meta> được tìm thấy trong chính HTML, đó là lý do tại sao sử dụng phương thức lớp nội bộ BeautifulSoup EncodingDetector.find_declared_encoding() để đảm bảo rằng các gợi ý mã hóa được nhúng như vậy sẽ giành chiến thắng trên máy chủ được định cấu hình sai.

Với requests, thuộc tính response.encoding mặc định là Latin-1 nếu đáp ứng có giá trị text/* mimetype, ngay cả khi không có ký tự nào được trả về. Điều này phù hợp với RFC HTTP nhưng đau đớn khi được sử dụng với phân tích cú pháp HTML, vì vậy bạn nên bỏ qua thuộc tính đó khi không có charset được đặt trong tiêu đề Kiểu nội dung.

Answer 9

import urllib2 
from bs4 import BeautifulSoup 
a=urllib2.urlopen('http://dir.yahoo.com') 
code=a.read() 
soup=BeautifulSoup(code) 
links=soup.findAll("a") 
#To get href part alone 
print links[0].attrs['href'] 

Answer 10

Tập lệnh này thực hiện những gì bạn đang tìm kiếm, Nhưng cũng giải quyết liên kết tương đối đến liên kết tuyệt đối.

import urllib 
import lxml.html 
import urlparse 

def get_dom(url): 
    connection = urllib.urlopen(url) 
    return lxml.html.fromstring(connection.read()) 

def get_links(url): 
    return resolve_links((link for link in get_dom(url).xpath('//a/@href'))) 

def guess_root(links): 
    for link in links: 
     if link.startswith('http'): 
      parsed_link = urlparse.urlparse(link) 
      scheme = parsed_link.scheme + '://' 
      netloc = parsed_link.netloc 
      return scheme + netloc 

def resolve_links(links): 
    root = guess_root(links) 
    for link in links: 
     if not link.startswith('http'): 
      link = urlparse.urljoin(root, link) 
     yield link 

for link in get_links('http://www.google.com'): 
    print link 

Answer 11

Để tìm tất cả các liên kết, trong ví dụ này, chúng ta sẽ sử dụng các mô-đun urllib2 cùng với re.module * Một trong những chức năng mạnh mẽ nhất trong các mô-đun lại là "re.findall() ". Trong khi re.search() được sử dụng để tìm các trận đấu đầu tiên cho một mẫu, re.findall() tìm thấy tất cả các trận đấu và trả họ như là một danh sách các chuỗi, mỗi chuỗi đại diện cho một trận đấu *

import urllib2 

import re 
#connect to a URL 
website = urllib2.urlopen(url) 

#read html code 
html = website.read() 

#use re.findall to get all the links 
links = re.findall('"((http|ftp)s?://.*?)"', html) 

print links 

Answer 12

BeatifulBộ phân tích cú pháp của riêng mình có thể bị chậm. Có thể khả thi hơn để sử dụng lxml có khả năng phân tích trực tiếp từ URL (với một số hạn chế được đề cập bên dưới).

import lxml.html 

doc = lxml.html.parse(url) 

links = doc.xpath('//a[@href]') 

for link in links: 
    print link.attrib['href'] 

Đoạn mã trên sẽ trả lại các liên kết như là, và trong nhiều trường hợp họ sẽ liên kết tương đối hoặc tuyệt đối từ gốc trang web. Vì trường hợp sử dụng của tôi chỉ trích xuất một loại liên kết nhất định, bên dưới là phiên bản chuyển đổi liên kết thành URL đầy đủ và tùy chọn chấp nhận mẫu hình cầu như *.mp3. Nó sẽ không xử lý dấu chấm đơn và đôi trong các đường dẫn tương đối mặc dù, nhưng cho đến nay tôi không có nhu cầu cho nó. Nếu bạn cần phân tích cú pháp các đoạn URL chứa ../ hoặc ./ thì urlparse.urljoin có thể hữu ích.

LƯU Ý: lxml Direct url phân tích cú pháp không xử lý tải từ https và không làm chuyển hướng, nên vì lý do này các phiên bản dưới đây được sử dụng urllib2 + lxml.

#!/usr/bin/env python 
import sys 
import urllib2 
import urlparse 
import lxml.html 
import fnmatch 

try: 
    import urltools as urltools 
except ImportError: 
    sys.stderr.write('To normalize URLs run: `pip install urltools --user`') 
    urltools = None 


def get_host(url): 
    p = urlparse.urlparse(url) 
    return "{}://{}".format(p.scheme, p.netloc) 


if __name__ == '__main__': 
    url = sys.argv[1] 
    host = get_host(url) 
    glob_patt = len(sys.argv) > 2 and sys.argv[2] or '*' 

    doc = lxml.html.parse(urllib2.urlopen(url)) 
    links = doc.xpath('//a[@href]') 

    for link in links: 
     href = link.attrib['href'] 

     if fnmatch.fnmatch(href, glob_patt): 

      if not href.startswith(('http://', 'https://' 'ftp://')): 

       if href.startswith('/'): 
        href = host + href 
       else: 
        parent_url = url.rsplit('/', 1)[0] 
        href = urlparse.urljoin(parent_url, href) 

        if urltools: 
         href = urltools.normalize(href) 

      print href 

Việc sử dụng như sau:

getlinks.py http://stackoverflow.com/a/37758066/191246 
getlinks.py http://stackoverflow.com/a/37758066/191246 "*users*" 
getlinks.py http://fakedomain.mu/somepage.html "*.mp3" 

Answer 13

Dưới đây là một ví dụ sử dụng @ars chấp nhận câu trả lời và BeautifulSoup4, requests, và wget module để xử lý các tải.

import requests 
import wget 
import os 

from bs4 import BeautifulSoup, SoupStrainer 

url = 'https://archive.ics.uci.edu/ml/machine-learning-databases/eeg-mld/eeg_full/' 
file_type = '.tar.gz' 

response = requests.get(url) 

for link in BeautifulSoup(response.content, 'html.parser', parse_only=SoupStrainer('a')): 
    if link.has_attr('href'): 
     if file_type in link['href']: 
      full_path = url + link['href'] 
      wget.download(full_path) 

Answer 14

Tôi tìm thấy câu trả lời của @ Blairg23 làm việc, sau đợt điều chỉnh sau (bao gồm các kịch bản mà nó không hoạt động chính xác):

for link in BeautifulSoup(response.content, 'html.parser', parse_only=SoupStrainer('a')): 
    if link.has_attr('href'): 
     if file_type in link['href']: 
      full_path =urlparse.urljoin(url , link['href']) #module urlparse need to be imported 
      wget.download(full_path) 

Đối với Python 3:

urllib.parse.urljoin phải được sử dụng để có được URL đầy đủ để thay thế.