Tìm kiếm của Google từ một ứng dụng Python

Question

Tôi đang cố chạy truy vấn tìm kiếm của Google từ ứng dụng python. Có bất kỳ giao diện python ra khỏi đó mà sẽ cho phép tôi làm điều này? Nếu không có ai biết Google API nào sẽ cho phép tôi thực hiện việc này. Cảm ơn.

Answer 1

Có một ví dụ đơn giản here (đặc biệt thiếu một số dấu ngoặc kép ;-). Hầu hết những gì bạn sẽ thấy trên web là giao diện Python với API SOAP cũ, đã ngừng hoạt động - ví dụ tôi chỉ sử dụng API AJAX mới hơn và được hỗ trợ, đó chắc chắn là một trong những bạn muốn! -)

Sửa: đây là một hoàn chỉnh hơn Python 2.6 dụ với tất cả các dấu ngoặc kép cần thiết & c; -) ...:

#!/usr/bin/python 
import json 
import urllib 

def showsome(searchfor): 
    query = urllib.urlencode({'q': searchfor}) 
    url = 'http://ajax.googleapis.com/ajax/services/search/web?v=1.0&%s' % query 
    search_response = urllib.urlopen(url) 
    search_results = search_response.read() 
    results = json.loads(search_results) 
    data = results['responseData'] 
    print 'Total results: %s' % data['cursor']['estimatedResultCount'] 
    hits = data['results'] 
    print 'Top %d hits:' % len(hits) 
    for h in hits: print ' ', h['url'] 
    print 'For more results, see %s' % data['cursor']['moreResultsUrl'] 

showsome('ermanno olmi') 

Answer 2

Dưới đây là câu trả lời của Alex chuyển đến Python3

#!/usr/bin/python3 
import json 
import urllib.request, urllib.parse 

def showsome(searchfor): 
    query = urllib.parse.urlencode({'q': searchfor}) 
    url = 'http://ajax.googleapis.com/ajax/services/search/web?v=1.0&%s' % query 
    search_response = urllib.request.urlopen(url) 
    search_results = search_response.read().decode("utf8") 
    results = json.loads(search_results) 
    data = results['responseData'] 
    print('Total results: %s' % data['cursor']['estimatedResultCount']) 
    hits = data['results'] 
    print('Top %d hits:' % len(hits)) 
    for h in hits: print(' ', h['url']) 
    print('For more results, see %s' % data['cursor']['moreResultsUrl']) 

showsome('ermanno olmi') 

Answer 3

Dưới đây là cách tiếp cận của tôi để này : http://breakingcode.wordpress.com/2010/06/29/google-search-python/

Một vài đoạn mã ví dụ:

# Get the first 20 hits for: "Breaking Code" WordPress blog 
    from google import search 
    for url in search('"Breaking Code" WordPress blog', stop=20): 
     print(url) 

    # Get the first 20 hits for "Mariposa botnet" in Google Spain 
    from google import search 
    for url in search('Mariposa botnet', tld='es', lang='es', stop=20): 
     print(url) 

Lưu ý rằng mã này KHÔNG sử dụng API của Google, và vẫn đang làm việc cho đến nay (tháng 1 năm 2012).

Answer 4

Tôi mới ở python và tôi đã điều tra cách thực hiện việc này. Không có ví dụ nào được cung cấp đang hoạt động đúng với tôi. Một số bị chặn bởi google nếu bạn thực hiện nhiều yêu cầu (vài), một số đã lỗi thời. Phân tích cú pháp html tìm kiếm của google (thêm tiêu đề trong yêu cầu) sẽ hoạt động cho đến khi google thay đổi cấu trúc html lần nữa. Bạn có thể sử dụng cùng một logic để tìm kiếm trong bất kỳ công cụ tìm kiếm nào khác, nhìn vào html (view-source).

import urllib2 

def getgoogleurl(search,siteurl=False): 
    if siteurl==False: 
     return 'http://www.google.com/search?q='+urllib2.quote(search) 
    else: 
     return 'http://www.google.com/search?q=site:'+urllib2.quote(siteurl)+'%20'+urllib2.quote(search) 

def getgooglelinks(search,siteurl=False): 
    #google returns 403 without user agent 
    headers = {'User-agent':'Mozilla/11.0'} 
    req = urllib2.Request(getgoogleurl(search,siteurl),None,headers) 
    site = urllib2.urlopen(req) 
    data = site.read() 
    site.close() 

    #no beatifulsoup because google html is generated with javascript 
    start = data.find('<div id="res">') 
    end = data.find('<div id="foot">') 
    if data[start:end]=='': 
     #error, no links to find 
     return False 
    else: 
     links =[] 
     data = data[start:end] 
     start = 0 
     end = 0   
     while start>-1 and end>-1: 
      #get only results of the provided site 
      if siteurl==False: 
      start = data.find('<a href="/url?q=') 
      else: 
      start = data.find('<a href="/url?q='+str(siteurl)) 
      data = data[start+len('<a href="/url?q='):] 
      end = data.find('&amp;sa=U&amp;ei=') 
      if start>-1 and end>-1: 
       link = urllib2.unquote(data[0:end]) 
       data = data[end:len(data)] 
       if link.find('http')==0: 
        links.append(link) 
     return links 

Cách sử dụng:

links = getgooglelinks('python','http://www.stackoverflow.com/') 
for link in links: 
     print link 

(Chỉnh sửa 1: Thêm một tham số để thu hẹp tìm kiếm google đến một trang web cụ thể)

(Chỉnh sửa 2: Khi tôi nói thêm câu trả lời này tôi đã mã hóa một Tôi đã tải nó lên Github: Subseek)