Hadoop, MapReduce - Nhiều Đường dẫn Đầu vào/Đầu ra

Question

Trong tệp đầu vào của tôi khi tạo Jar cho Công việc MapReduce của tôi, tôi đang sử dụng lệnh Hadoop-local. Tôi muốn biết có cách nào hay không, thay vì chỉ định cụ thể đường dẫn cho từng tệp trong thư mục nhập của tôi được sử dụng trong công việc MapReduce, cho dù tôi chỉ có thể chỉ định và chuyển tất cả các tệp từ thư mục nhập của tôi. Điều này là do nội dung và số lượng tệp có thể thay đổi do bản chất của công việc MapReduce mà tôi đang cố định cấu hình và vì tôi không biết số lượng tệp cụ thể, ngoài nội dung của các tệp này, có cách chuyển tất cả các tệp từ thư mục nhập vào chương trình MapReduce của tôi và sau đó lặp qua từng tệp để tính toán một hàm nhất định mà sau đó sẽ gửi kết quả đến Reducer. Tôi chỉ sử dụng một chương trình Map/Reduce và tôi đang viết mã bằng Java. Tôi có thể sử dụng lệnh hadoop-moonshot, nhưng hiện tại tôi đang làm việc với hadoop-local.

Cảm ơn.

Answer 1

Bạn không phải chuyển từng tệp riêng lẻ làm đầu vào cho MapReduce Công việc.

FileInputFormat lớp đã cung cấp API để chấp nhận danh sách nhiều tệp như Nhập vào bản đồ Giảm chương trình.

public static void setInputPaths(Job job, 
       Path... inputPaths) 
          throws IOException 

Thêm một con đường vào danh sách các nguyên liệu đầu vào cho công việc đồ-giảm. Tham số:

conf - Cấu hình của công việc

con đường - con đường được thêm vào danh sách các nguyên liệu đầu vào cho công việc đồ-giảm.

Ví dụ mã từ Apache tutorial

Job job = Job.getInstance(conf, "word count"); 
FileInputFormat.addInputPath(job, new Path(args[0])); 

MultipleInputs cung cấp dưới đây API.

public static void addInputPath(Job job, 
       Path path, 
       Class<? extends InputFormat> inputFormatClass, 
       Class<? extends Mapper> mapperClass) 

Thêm một con đường với một InputFormat tùy chỉnh và Mapper vào danh sách các nguyên liệu đầu vào cho công việc đồ-giảm.

liên quan SE câu hỏi:

Can hadoop take input from multiple directories and files

Tham khảo MultipleOutputs API liên quan đến truy vấn thứ hai của bạn trên nhiều đường dẫn đầu ra.

FileOutputFormat.setOutputPath(job, outDir); 

// Defines additional single text based output 'text' for the job 
MultipleOutputs.addNamedOutput(job, "text", TextOutputFormat.class, 
LongWritable.class, Text.class); 

// Defines additional sequence-file based output 'sequence' for the job 
MultipleOutputs.addNamedOutput(job, "seq", 
SequenceFileOutputFormat.class, 
LongWritable.class, Text.class); 

Hãy xem các câu hỏi SE liên quan đến nhiều tệp đầu ra.

Writing to multiple folders in hadoop?

hadoop method to send output to multiple directories