Sử dụng wget qua Python

Question

Tôi làm cách nào để tải xuống tệp (video) bằng Python bằng cách sử dụng wget và lưu chúng cục bộ? Sẽ có một loạt các tệp, vì vậy làm cách nào để biết rằng một tệp được tải xuống để tự động bắt đầu downloding một tệp khác?

Cảm ơn.

Answer 1

Đừng làm điều này. Thay vào đó, hãy sử dụng urllib2 hoặc urlgrabber.

Answer 2

Nếu bạn sử dụng os.system() để sinh ra quy trình cho wget, nó sẽ chặn cho đến khi wget kết thúc quá trình tải xuống (hoặc thoát khỏi lỗi). Vì vậy, chỉ cần gọi os.system('wget blah') trong vòng lặp cho đến khi bạn đã tải xuống tất cả các tệp của mình.

Hoặc, bạn có thể sử dụng urllib2 hoặc httplib. Bạn sẽ phải viết một mã số không tầm thường, nhưng bạn sẽ nhận được hiệu suất tốt hơn, vì bạn có thể tái sử dụng một kết nối HTTP duy nhất để tải xuống nhiều tệp, thay vì mở một kết nối mới cho từng tệp.

Answer 3

Không có lý do để sử dụng os.system. Tránh viết một kịch bản shell trong Python và đi với một cái gì đó như urllib.urlretrieve hoặc tương đương.

Chỉnh sửa ... để trả lời phần thứ hai của câu hỏi, bạn có thể thiết lập nhóm chủ đề bằng cách sử dụng lớp Hàng đợi thư viện chuẩn. Vì bạn đang tải xuống rất nhiều, GIL không phải là vấn đề. Tạo danh sách các URL bạn muốn tải xuống và cung cấp chúng cho hàng đợi công việc của bạn. Nó sẽ xử lý các yêu cầu đẩy đến các luồng công nhân.

Tôi đang chờ bản cập nhật cơ sở dữ liệu hoàn tất, vì vậy, tôi sẽ nhanh chóng thực hiện việc này cùng nhau.

 

#!/usr/bin/python 

import sys 
import threading 
import urllib 
from Queue import Queue 
import logging 

class Downloader(threading.Thread): 
    def __init__(self, queue): 
     super(Downloader, self).__init__() 
     self.queue = queue 

    def run(self): 
     while True: 
      download_url, save_as = queue.get() 
      # sentinal 
      if not download_url: 
       return 
      try: 
       urllib.urlretrieve(download_url, filename=save_as) 
      except Exception, e: 
       logging.warn("error downloading %s: %s" % (download_url, e)) 

if __name__ == '__main__': 
    queue = Queue() 
    threads = [] 
    for i in xrange(5): 
     threads.append(Downloader(queue)) 
     threads[-1].start() 

    for line in sys.stdin: 
     url = line.strip() 
     filename = url.split('/')[-1] 
     print "Download %s as %s" % (url, filename) 
     queue.put((url, filename)) 

    # if we get here, stdin has gotten the ^D 
    print "Finishing current downloads" 
    for i in xrange(5): 
     queue.put((None, None)) 
 

Answer 4

Không có lý do gì để sử dụng python. Tránh viết một kịch bản shell trong Python và đi với một cái gì đó như bash hoặc tương đương.

Answer 5

Cài đặt wget qua pypi http://pypi.python.org/pypi/wget/0.3

pip install wget 

sau đó chạy, cũng như tài liệu

python -m wget <url> 

Answer 6

Câu trả lời ngắn (giản thể). Để nhận một tệp

import urllib 
urllib.urlretrieve("http://google.com/index.html", filename="local/index.html") 

Bạn có thể tìm hiểu cách lặp lại điều đó nếu cần.