Làm thế nào để xử lý đầu ra với Luigi

Question

Tôi đang cố gắng để nắm bắt cách luigi hoạt động, và tôi nhận được ý tưởng, nhưng thực hiện thực tế là một chút khó khăn hơn;) Đây là những gì tôi có:

class MyTask(luigi.Task): 

    x = luigi.IntParameter() 

    def requires(self): 
     return OtherTask(self.x) 

    def run(self): 
     print(self.x) 

class OtherTask(luigi.Task): 

    x = luigi.IntParameter() 

    def run(self): 
     y = self.x + 1 
     print(y) 

Và điều này không với RuntimeError: Unfulfilled dependency at run time: OtherTask_3_5862334ee2. Tôi đã figured rằng tôi cần phải sản xuất đầu ra bằng cách sử dụng def output(self): để workaround vấn đề này \ tính năng. Và tôi không thể hiểu làm cách nào để tạo ra sản lượng hợp lý mà không cần phải viết vào một tệp, ví dụ:

def output(self): 
    return luigi.LocalTarget('words.txt') 

def run(self): 

    words = [ 
      'apple', 
      'banana', 
      'grapefruit' 
      ] 

    with self.output().open('w') as f: 
     for word in words: 
      f.write('{word}\n'.format(word=word)) 

Tôi đã thử đọc tài liệu, nhưng tôi không hiểu khái niệm đằng sau đầu ra. Điều gì sẽ xảy ra nếu tôi chỉ cần xuất ra màn hình. Điều gì sẽ xảy ra nếu tôi cần xuất một đối tượng sang tác vụ khác? Cảm ơn!

Answer 1

Điều gì sẽ xảy ra nếu tôi cần xuất đối tượng cho một tác vụ khác?

Tác vụ Luigi có thể chạy trong các quy trình khác nhau. Do đó, bạn thường phải ghi vào đĩa, cơ sở dữ liệu, dưa hoặc một số cơ chế bên ngoài cho phép trao đổi dữ liệu giữa các quy trình (và sự tồn tại của các quy trình đó) nếu bạn muốn trao đổi một đối tượng là kết quả của một nhiệm vụ. Ngược lại với việc viết phương thức output(), nó đòi hỏi một đích, bạn cũng có thể ghi đè lên phương thức complete(), nơi bạn có thể viết bất kỳ logic tùy chỉnh nào cho phép các nhiệm vụ được xem xét hoàn chỉnh.