Nạp dữ liệu vào Redshift bằng Node.js

Question

Một số cách chèn dữ liệu vào Amazon Redshift bằng cách sử dụng node.js là gì?

Điều này khá đơn giản, nhưng tôi không thể tìm thấy bất kỳ ví dụ cụ thể nào để tải hiệu quả.

Answer 1

Một cách để làm điều đó sẽ được nạp dữ liệu vào S3 sử dụng AWS node.js SDK (có một example trong tài liệu), sau đó sử dụng node-pg để COPY dữ liệu vào chuyển đỏ:

var pg = require('pg'); 

var conString = "postgres://user:password@db-endpoint:port/schema"; 

var client = new pg.Client(conString); 
    client.connect(function(err) { 
     if(err) { 
     return console.error('could not connect to postgres', err); 
     } 

     //assuming credentials are exported as enviornment variables, 
     //both CLI- and S3cmd-style are supported here. 
     //Also, you may want to specify the file's format (e.g. CSV), 
     //max errors, etc. 
     var copyCmd = 'copy my_redshift_table from \'s3://your_bucket/your_file\' credentials \'aws_access_key_id=' 
     + (process.env.AWS_ACCESS_KEY || process.env.AWS_ACCESS_KEY_ID) 
     + ';aws_secret_access_key=' 
     + (process.env.AWS_SECRET_KEY || process.env.AWS_SECRET_ACCESS_KEY) 
     + '\''; 

     client.query(copyCmd, function(err, result) { 
     if(err) { 
      return console.error('error running query', err); 
     } 
     logger.info("redhshift load: no errors, seem to be successful!"); 
     client.end(); 
     }); 
    }); 

Lưu ý rằng bạn không' t cần bất kỳ trình điều khiển đặc biệt cho điều này để chạy.