Cách tải xuống thông qua tập tin lớn chỉ có HTTP của ruby ​​

Question

Tôi chỉ cần tải xuống vài kilobyte đầu tiên của một tệp qua HTTP.

tôi đã cố gắng

require 'open-uri' 
url = 'http://example.com/big-file.dat' 
file = open(url) 
content = file.read(limit) 

Nhưng nó thực sự tải toàn bộ tập tin.

Answer 1

Điều này dường như làm việc khi sử dụng ổ cắm:

require 'socket'     
host = "download.thinkbroadband.com"     
path = "/1GB.zip" # get 1gb sample file 
request = "GET #{path} HTTP/1.0\r\n\r\n" 
socket = TCPSocket.open(host,80) 
socket.print(request)   

# find beginning of response body 
buffer = ""      
while !buffer.match("\r\n\r\n") do 
    buffer += socket.read(1) 
end   

response = socket.read(100) #read first 100 bytes of body 
puts response 

tôi tò mò nếu có một "cách ruby".

Answer 2

Xem "OpenURI returns two different objects". Bạn có thể lạm dụng các phương pháp trong đó để làm gián đoạn việc tải xuống/vứt bỏ phần còn lại của kết quả sau một giới hạn đặt trước.

Answer 3

Đây là một chủ đề cũ, nhưng nó vẫn là một câu hỏi mà dường như hầu như không được trả lời theo nghiên cứu của tôi. Đây là một giải pháp mà tôi đã đưa ra bằng cách vá lỗi của Net: HTTP một chút:

require 'net/http' 

# provide access to the actual socket 
class Net::HTTPResponse 
    attr_reader :socket 
end 

uri = URI("http://www.example.com/path/to/file") 
begin 
    Net::HTTP.start(uri.host, uri.port) do |http| 
    request = Net::HTTP::Get.new(uri.request_uri) 
    # calling request with a block prevents body from being read 
    http.request(request) do |response| 
     # do whatever limited reading you want to do with the socket 
     x = response.socket.read(100); 
    end 
    end 
rescue IOError 
    # ignore 
end 

Việc cứu bắt IOError bị ném khi bạn gọi HTTP.finish sớm.

FYI, các ổ cắm trong đối tượng HTTPResponse không phải là một đối tượng IO đúng (đó là một lớp học nội gọi BufferedIO), nhưng nó khá dễ dàng để khỉ vá mà cũng vậy, để bắt chước IO phương pháp mà bạn cần. Ví dụ, một thư viện tôi đã sử dụng (exifr) cần các readchar phương pháp, đó là dễ dàng để thêm:

class Net::BufferedIO 
    def readchar 
    read(1)[0].ord 
    end 
end