Python mô-đun BeautifulSoup neo chiết href

Question

tôi đang sử dụng mô-đun BeautifulSoup để chọn tất cả href từ html bằng cách này:

def extract_links(html): 
    soup = BeautifulSoup(html) 
    anchors = soup.findAll('a') 
    print anchors 
    links = [] 
    for a in anchors: 
    links.append(a['href']) 
    return links 

nhưng đôi khi nó thất bại bằng tin nhắn này lỗi:

Traceback (most recent call last): 
File "C:\py\main.py", line 33, in <module> 
urls = extract_links(page) 
File "C:\py\main.py", line 11, in extract_links 
links.append(a['href']) 
File "C:\py\BeautifulSoup.py", line 601, in __getitem__ 
return self._getAttrMap()[key] 
KeyError: 'href' 

Answer 1

Không phải tất cả neo thẻ sẽ có thuộc tính href. Bạn nên kiểm tra xem anchor có một href hay không trước khi bạn cố truy cập thuộc tính đó.

if a.has_key('href') 
    links.append(a['href']) 

Sau khi kiểm tra một số nhận xét tại đây, tôi nghĩ đây là cách xử lý nhiệt tình nhất.

Answer 2

Các Pythonic cách sẽ là một cái gì đó như thế này:

for a in anchors: 
    try: 
     links.append(a['href']) 
    except KeyError: 
     pass 

Đó chỉ đơn giản là bỏ qua bất kỳ <a> thẻ mà không có một href.

Answer 3

Hãy thử điều này.

links = [a['href'] for a in anchors if a.has_key('href')] 

Hoặc, nếu bạn muốn thay vì đột biến một danh sách hiện

links = [] 
#... 
links.extend(a['href'] for a in anchors if a.has_key('href')) 

Answer 4

Bạn cần phải cast a.attrs đến một dict đầu tiên, sau đó truy cập vào phần tử.

links.append(dict(a.attrs)['href']) 

Answer 5

soup.findAll() trả về một danh sách các "thẻ", có chứa các từ điển của các thuộc tính. Vì vậy, bạn cần phải trích xuất các thuộc tính của nó và làm việc trên chúng.

Lấy ví dụ và sửa đổi của bạn, đây là mã mà hoạt động:

def extract_links(html): 
    soup = BeautifulSoup(html) 
    anchors = soup.findAll('a') 
    print anchors 
    links = [] 
    for a in anchors: 
    if a.attrs.has_key('href'): 
     links.append(a['href']) 
return links