Azure Data Factory
Azure Data Factory 模块监视你的数据管道:失败的管道运行和触发器运行、错过截止时间的每日管道、耗时比平时更长的运行,以及这些管道所依赖的自承载集成运行时。每个数据工厂还会在 Overview 上有一张卡片。其值来自 Azure Monitor 数据源,通过只读角色读取。
监视内容
| 区域 | 检查 | 重要原因 |
|---|---|---|
| 管道运行 | 过去 24 小时内失败的运行 | 加载失败会使报表和下游系统使用陈旧的数据 |
| 每日截止时间 | 带有 schedule:daily 注释的管道在 06:00 前尚未成功运行 | 无论延迟的原因是什么,业务都期望在一天开始时拿到数据 |
| 持续时间 | 每个管道的持续时间与其自身历史的对比 | 运行突然耗时长得多,往往是出现问题的第一个迹象 |
| 触发器 | 失败或被跳过的触发器运行 | 触发器不触发,就意味着管道永远不会运行 |
| 集成运行时 | 在线的自承载集成运行时节点,及其版本与最新可用版本的对比 | 节点离线会使所有访问本地数据的管道停止运行 |
每日截止时间使用检查的参数:deadline_local(06:00)、timezone(默认为 America/New_York)和 expected_pipelines_tag(schedule:daily)。请在你的数据工厂对应的检查上更改这些参数。每项检查及其规则、原因和措施,都列在 Azure Data Factory 检查参考中。
Data Factory 卡片
每个数据工厂在 Overview 上都有一张卡片,显示:今天的运行情况(成功、失败、正在运行、已取消)、失败和正在运行的运行、其集成运行时(含状态、节点、版本和最新可用版本),以及根据计划触发器(包括翻转窗口)计算出的后续触发器运行。事件触发器没有后续运行。“今天”从数据源 Time zone 设置所指时区的午夜开始。
开始之前
- Azure Monitor 数据源,其资源类型中包含 Data factories,并且已选择 Data Factory runs。参阅连接 Azure Monitor。
- 订阅上的 Reader(
acdd72a7-3385-48ef-bd42-f606fba81ae7),用于访问数据工厂本身。 - 自定义角色 Data Factory run reader,分配在数据工厂或其资源组上。Data Factory 将运行历史公开为 Reader 不包含的操作,而内置的 Data Factory Contributor 会增加写入权限。角色定义和分配该角色的命令见 Data Factory 的只读角色。
- 模块已启用。 功能开关
monitoring.azure同时涵盖此模块和 Azure 模块。
添加资源
你无需手动添加数据工厂。Azure Monitor 数据源会列出这些数据工厂,并将它们连同其检查和卡片一起添加到该数据源的实体下。如果没有自定义角色,数据工厂仍会显示,但数据源的 Test 会将 Data Factory 列为失败的可选权限。