Nhận ID cố gắng nhiệm vụ cho tác vụ Hadoop hiện đang chạy

Question

Phần Task Side-Effect Files của hướng dẫn Hadoop đề cập đến việc sử dụng "cố ý" của tác vụ dưới dạng tên duy nhất. Làm thế nào để tôi có được ID cố định này trong trình ánh xạ hoặc bộ giảm tốc của tôi?

Answer 1

Nếu bạn cần một id duy nhất cho một tập tin tác dụng phụ trong hadoop, bạn có thể tận dụng các nỗ lực id duy nhất trong công việc với mã này:

public static String getAttemptId(Configuration conf) throws IllegalArgumentException 
    { 
     if (conf == null) { 
      throw new NullPointerException("conf is null"); 
     } 

     String taskId = conf.get("mapred.task.id"); 
     if (taskId == null) { 
      throw new IllegalArgumentException("Configutaion does not contain the property mapred.task.id"); 
     } 

     String[] parts = taskId.split("_"); 
     if (parts.length != 6 || 
       !parts[0].equals("attempt") || 
       (!"m".equals(parts[3]) && !"r".equals(parts[3]))) { 
      throw new IllegalArgumentException("TaskAttemptId string : " + taskId + " is not properly formed"); 
     } 

     return parts[4] + "-" + parts[5]; 
    } 

Answer 2

muộn để đảng, nhưng bạn có thể sử dụng TaskAttemptID để phân tích thuộc tính mapred.task.id.

Trong trường hợp của tôi, tôi muốn giá trị nỗ lực số chính nó và sử dụng như sau trong Mapper của tôi:

int _attemptID; 

@Override 
public void configure(JobConf conf) { 
    TaskAttemptID attempt = TaskAttemptID.forName(conf.get("mapred.task.id")); 
    _attemptID = attempt.id(); 
} 

Answer 3

Với Hadoop API mới:

context.getTaskAttemptID().getTaskID().getId()