Đang ghi tệp vào HDFS bằng cách sử dụng Java

Question

Tôi đang cố gắng ghi tệp vào HDFS, tệp được tạo nhưng nó là trống trên cụm, tuy nhiên khi tôi chạy mã cục bộ, nó hoạt động như một nét duyên dáng.

đây là mã của tôi:

FSDataOutputStream recOutputWriter = null; 
FileSystem fs = null; 
try { 
    //OutputWriter = new FileWriter(outputFileName,true); 
    Configuration configuration = new Configuration(); 
    fs = FileSystem.get(configuration); 
    Path testOutFile = new Path(outputFileName); 
    recOutputWriter = fs.create(testOutFile); 

    //outputWriter = new FileWriter(outputFileName,true); 
} catch (IOException e) { 
    e.printStackTrace(); 
} 
recOutputWriter.writeBytes("======================================\n"); 
recOutputWriter.writeBytes("OK\n"); 
recOutputWriter.writeBytes("======================================\n"); 

if (recOutputWriter != null) { 
    recOutputWriter.close(); 
} 
fs.close(); 

tôi đã bỏ lỡ một cái gì đó?

Answer 1

Để ghi dữ liệu vào một tập tin sau khi tạo nó trên cụm Tôi đã có thêm:

System.setProperty("HADOOP_USER_NAME", "vagrant"); 

Refrence - Writing files to Hadoop HDFS using Scala