Azure Data Factory
Azure Data Factory 模組監控你的數據管線:失敗的管線及觸發程序執行、未能趕上期限的每日管線、耗時比平常更長的執行,以及它們所依賴的自行託管整合執行階段。每個 Data Factory 在 Overview 上也有一張卡片。卡片上的數值來自 Azure Monitor 數據源,並以唯讀角色讀取。
監控項目
| 範疇 | 檢查 | 重要原因 |
|---|---|---|
| 管線執行 | 過去 24 小時內失敗的執行 | 載入失敗會令報表及下游系統使用過時的數據 |
| 每日期限 | 帶有 schedule:daily 註解、但在 06:00 前尚未成功的管線 | 無論延遲的原因為何,業務都期望在一天開始時取得數據 |
| 執行時間 | 每個管線的執行時間與其本身歷史記錄的比較 | 執行時間突然大幅增加,往往是問題的最初跡象 |
| 觸發程序 | 失敗或被略過的觸發程序執行 | 觸發程序沒有啟動,就代表管線永遠不會執行 |
| 整合執行階段 | 在線的自行託管整合執行階段節點,以及其版本與最新可用版本的比較 | 節點離線會令所有存取內部部署數據的管線停止 |
每日期限使用檢查的參數:deadline_local(06:00)、timezone(預設為 America/New_York)及 expected_pipelines_tag(schedule:daily)。請在你的 Data Factory 的檢查上變更它們。每項檢查及其規則、成因和處理方法,都載於 Azure Data Factory 檢查參考。
Data Factory 卡片
每個 Data Factory 在 Overview 上都有一張卡片,顯示今天的執行(成功、失敗、執行中、已取消)、失敗及執行中的項目、其整合執行階段的狀態、節點、版本及最新可用版本,以及根據排程觸發程序(包括輪轉視窗)計算出的下一次觸發程序執行。事件觸發程序沒有下一次執行。今天從數據源 Time zone 的午夜起計。
開始之前
- Azure Monitor 數據源:其資源類型須包括 Data factories,並已選取 Data Factory runs。請參閱連接 Azure Monitor。
- 訂閱上的 Reader(
acdd72a7-3385-48ef-bd42-f606fba81ae7),用於讀取 Data Factory 本身。 - Data Factory 或其資源群組上的自訂角色 Data Factory run reader。Data Factory 以動作的形式提供執行歷史記錄,而 Reader 不包括這些動作,內建的 Data Factory Contributor 則會加入寫入權限。角色定義及指派角色的指令,載於Data Factory 的唯讀角色。
- 已啟用模組。 功能
monitoring.azure同時涵蓋此模組及 Azure 模組。
新增資源
你不需要手動新增 Data Factory。Azure Monitor 數據源會列出它們,並把它們連同檢查及卡片一併新增到數據源的實體之下。沒有自訂角色時,Data Factory 仍會顯示,但數據源的 Test 會把 Data Factory 列為失敗的選用權限。