Ghi đè mapreduce.fileoutputcommitter.marksuccessfuljobs của hadoop trong oozie

Question

<property> 
<name>mapreduce.fileoutputcommitter.marksuccessfuljobs</name> 
<value>false</value> 
</property> 

Tôi muốn ghi đè thuộc tính trên thành true. Thuộc tính cần phải sai cho phần còn lại của các công việc trên cụm, nhưng tôi cần, trong luồng công việc oozie của tôi, hadoop để tạo tệp _SUCCESS trong thư mục đầu ra sau khi hoàn thành công việc. Một hành động hive của nó trong luồng công việc viết đầu ra. Hãy giúp tôi.

Answer 1

Hive may đè khả năng này bằng cách thiết lập NullOutputComitter riêng của nó:

conf.setOutputCommitter(NullOutputCommitter.class); 

thấy

src/shims/src/0.20/java/org/apache/hadoop/hive/shims/Hadoop20Shims.java 
src/shims/src/common-secure/java/org/apache/hadoop/hive/shims/HadoopShimsSecure.java 

Hình như bạn sẽ phải tạo cờ bằng tay. Chúng tôi đã nộp HIVE-3700 cho việc này.

Answer 2

Tôi đã gặp sự cố tương tự và kết thúc bằng cách sử dụng tác vụ trình bao để tạo cờ.

Dưới đây là một ví dụ đầy đủ: http://nathan.vertile.com/blog/2014/09/02/oozie-data-pipeline-done-flag/

Answer 3

Bạn có thể thêm lệnh 'dfs' để kịch bản hive của bạn, giống như

dfs -touchz '$table_base_path'/dt='${partition}'/_SUCCESS

https://archive.cloudera.com/cdh4/cdh/4/hive/language_manual/cli.html