Luigi thất bại trong việc hoàn thành tất cả các nhiệm vụ được liệt kê trong yêu cầu phương pháp

Question

Nói rằng tôi có một công việc với cấu trúc phụ thuộc sau

class ParentTask(luigi.Task): 
    def requires(self): 
     return [ChildTask(classLevel=x) for x in self.class_level_list] 
    def run(self): 
     yadayda 

Nhiệm vụ con chạy tốt trên nó sở hữu. Phụ huynh kiểm tra chính xác tất cả các nhiệm vụ con cho trạng thái kết thúc. Tuy nhiên, khi nhiệm vụ con đầu tiên kết thúc, bộ lập lịch đánh dấu nhiệm vụ cha mẹ là xong. với thông báo sau:

Scheduled 15 tasks of which: 
* 3 ran successfully: 
    - 1 CleanRecord(...) 
    - 1 EstimateQuestionParameter(classLevel=6, qdt=2016-04-19, subject=english) 
    - 1 GetLog(classLevel=6, qdt=2016-04-19, subject=english) 
* 12 were left pending, among these: 
    * 12 were left pending because of unknown reason: 
     - 5 EstimateQuestionParameter(classLevel=1...5, qdt=2016-04-19, subject=english) 
     - 5 GetLog(pool=None, classLevel=1...5, qdt=2016-04-19, subject=english) 
     - 1 UpdateQuestionParameter(qdt=2016-04-19, lastQdt=2016-03-23, subject=english, isInit=False) 
     - 1 UpdateQuestionParameterBuffer(qdt=2016-04-19, subject=english, src_table=edw.edw_behavior_question_record_exam_new) 

This progress looks :) because there were no failed tasks or missing external dependencies 

Answer 1

Tôi nghĩ điều này xảy ra vì nhân viên của bạn bị ngắt kết nối khỏi lịch biểu. Nhịp tim của nhân viên không đạt được bộ lập lịch vì phân vùng mạng hoặc, nhiều khả năng hơn, bởi vì chúng không bao giờ được gửi do issue này.

Bạn có hai lựa chọn để làm việc xung quanh vấn đề này:

• Tăng worker-disconnect-delay cài đặt ([scheduler] phần trong cấu hình, độ tuổi 60 mặc định)
• Sử dụng nhiều hơn một công nhân cho công việc của bạn, ví dụ --workers 2 (nếu đó là lý do thứ hai)