nhiệm vụ parallelizing trong Luigi Orchestrator

Question

tôi xác định ba nhiệm vụ T1, T2, và T3, và sau đó là một nhiệm vụ T4 như sau:

class T4(luigi.Task) 
    def requires(self): 
     return [T1(), T2(), T3()] 

Có một cách tự nhiên để nói Luigi mà tôi muốn những công việc T1, T2 và T3 sẽ được thực hiện song song?

Answer 1

Phụ thuộc vào những phụ thuộc T1, T2 và T3 có. Nếu họ không có nhiệm vụ khác như một phụ thuộc chung, bạn chỉ có thể chạy nhiệm vụ của bạn chỉ định --workers=3 và Luigi will run each task in a separate worker.