phản hồi luồng từ yêu cầu nodejs đến s3

Question

Làm cách nào để bạn sử dụng request để tải xuống nội dung của tệp và trực tiếp phát trực tiếp lên s3 bằng cách sử dụng aws-sdk cho nút?

Đoạn code dưới đây mang lại cho tôi Object #<Request> has no method 'read' mà làm cho nó có vẻ như yêu cầu không trả lại một dòng có thể đọc được ...

var req = require('request'); 
var s3 = new AWS.S3({params: {Bucket: myBucket, Key: s3Key}}); 
var imageStream = req.get(url) 
    .on('response', function (response) { 
     if (200 == response.statusCode) { 
     //imageStream should be read()able by now right? 
     s3.upload({Body: imageStream, ACL: "public-read", CacheControl: 5184000}, function (err, data) { //2 months 
      console.log(err,data); 
     }); 
     } 
    }); 
}); 

mỗi sự aws-sdk docsBody nhu cầu trở thành một đối tượng ReadableStream.

Tôi đang làm gì sai ở đây?

Điều này có thể được rút ra bằng cách sử dụng mô-đun s3-upload-stream, tuy nhiên tôi muốn giới hạn phụ thuộc của tôi.

Answer 1

Bạn muốn sử dụng các đối tượng response nếu bạn đang tự nghe cho dòng phản ứng:

var req = require('request'); 
var s3 = new AWS.S3({params: {Bucket: myBucket, Key: s3Key}}); 
var imageStream = req.get(url) 
    .on('response', function (response) { 
     if (200 == response.statusCode) { 
     s3.upload({Body: response, ACL: "public-read", CacheControl: 5184000}, function (err, data) { //2 months 
      console.log(err,data); 
     }); 
     } 
    }); 
}); 

Answer 2

Kể từ khi tôi đã có cùng một vấn đề như @JoshSantangelo (zero byte tập tin trên S3) với request@2.60. 0 và aws-sdk@2.1.43, hãy để tôi thêm một giải pháp thay thế sử dụng http mô-đun riêng Node của (caveat: đơn giản hóa mã từ một dự án thực tế đời sống và không được kiểm tra riêng):

var http = require('http'); 

function copyToS3(url, key, callback) { 
    http.get(url, function onResponse(res) { 
     if (res.statusCode >= 300) { 
      return callback(new Error('error ' + res.statusCode + ' retrieving ' + url)); 
     } 
     s3.upload({Key: key, Body: res}, callback); 
    }) 
    .on('error', function onError(err) { 
     return callback(err); 
    }); 
} 

theo như tôi có thể nói , vấn đề là request không hỗ trợ đầy đủ API luồng Node hiện tại, trong khi aws-sdk phụ thuộc vào nó.

Tài liệu tham khảo:

• request issue about the readable event not working right
• generic issue for "new streams" support in request
• usage of the readable event in aws-sdk