Tìm hiểu thời gian bắt đầu và kết thúc trong đường ống nhà máy dữ liệu Azure

Question

Tôi đang thiết lập đường ống trong Nhà máy dữ liệu Azure, với mục đích lấy tệp phẳng từ bộ nhớ và tải chúng vào bảng trong Azure SQL DB.

Mẫu cho đường ống này chỉ định rằng tôi cần thời gian bắt đầu và kết thúc, trong đó the tutorial nói để đặt thành 1 ngày.

Tôi đang cố gắng hiểu điều này. Nếu nó là một công việc CRON trong Linux hoặc nhiệm vụ theo lịch trình trong Windows Server, thì tôi chỉ đơn giản nói với nó khi bắt đầu (tức là hàng ngày lúc 6 giờ sáng) và sẽ mất nhiều thời gian để hoàn thành.

Điều này dẫn tôi đến một số câu hỏi liên quan:

• Tại sao tôi cần phải chỉ định thời gian kết thúc?
• Nếu tôi không biết phải mất bao lâu để chạy?
• Nếu tôi đặt quá xa trong tương lai, tôi có gặp rủi ro về đường dẫn dữ liệu không hoàn thành đúng lúc không?
• Nếu tôi đặt quá sớm, đường dẫn có bị ngắt không?
• Tại sao nó cứng mã hoá như một ngày thay vì một tần số (tức là nó nói để sử dụng định dạng này - "2014-10-14T16: 32: 41Z")

tôi thấy a prior question mà tỏ một chút ánh sáng về cách làm tần số thay vì ngày được mã hóa cứng, nhưng câu hỏi của tôi ở trên vẫn chưa được giải đáp bởi giải pháp.

Answer 1

Lịch trình 1 ngày chỉ là một ví dụ để làm nổi bật khái niệm mà bạn mong đợi 24 cửa sổ hoạt động nếu tần suất được đặt thành giờ trong 1 ngày như trong ví dụ.

Tại sao tôi cần chỉ định thời gian kết thúc?

Bạn không phải chỉ định thời gian kết thúc, nếu bạn muốn bạn có thể chạy đường ống vô hạn định. Tuy nhiên, bạn có thể có lý do kinh doanh để đặt thời gian kết thúc, như trùng với chu kỳ kinh doanh hàng năm. Thời gian bắt đầu và kết thúc của đường ống chung áp dụng cho việc thu thập các hoạt động bên trong nó. Các hoạt động sẽ chạy theo tần suất bạn đặt (hàng giờ, hàng ngày, v.v.) cho hoạt động và tính khả dụng của bộ dữ liệu. Bạn cũng có thể đặt thời gian bắt đầu cho các hoạt động hoặc bù đắp hoặc trì hoãn chúng (ví dụ: nếu bạn muốn xử lý dữ liệu của ngày hôm nay) hoặc đặt ngày bắt đầu trong quá khứ để chèn lấp dữ liệu.

Tại sao mã được mã hóa cứng là ngày thay vì tần suất?

Lý do tại sao bắt đầu và kết thúc là ngày và không phải là tần suất vì đó là khoảng thời gian tổng thể mà đường ống của bạn hoạt động và hoạt động xử lý riêng lẻ xử lý tần suất và thời gian chúng chạy.

Nếu tôi không biết phải mất bao lâu để chạy?

Khi hoạt động bắt đầu, chúng sẽ chạy để hoàn thành. Nếu chúng vượt quá ngày kết thúc, đường ống sẽ không khởi động các hoạt động mới.

Nếu tôi đặt quá xa trong tương lai, tôi có gặp rủi ro về đường dẫn dữ liệu không hoàn thành kịp thời không?

Không, hoàn thành kịp thời chỉ phải thực hiện với kích thước cụm, khối lượng dữ liệu và cài đặt đồng thời của bạn.

Nếu tôi đặt quá sớm, liệu đường ống có bị hỏng không?

Xem trên

Chúng tôi cung cấp loại phức tạp của lịch trình để bạn có thể có sự linh hoạt hơn trong dàn nhiều dịch vụ trong khi cho phép ADF quản lý tài nguyên điện toán đám mây, thay vì chỉ đá ra một công việc định kỳ. Có nhiều thông tin sắc thái hơn về lập lịch trong tài liệu của chúng tôi tại đây https://azure.microsoft.com/en-us/documentation/articles/data-factory-scheduling-and-execution/

Answer 2

Tại sao tôi cần chỉ định thời gian kết thúc?

Trong ADF1, nếu bạn chỉ định thời gian bắt đầu, bạn phải chỉ định thời gian kết thúc. nếu bạn không chỉ định thời gian bắt đầu và kết thúc, đó là tốt, bạn sẽ có thể triển khai đường ống nhưng các hoạt động trong đường ống sẽ không kích hoạt.