Azure Data Factory
Модуль Azure Data Factory наблюдает за вашими конвейерами данных: неудачными запусками конвейеров и триггеров, ежедневными конвейерами, которые не уложились в срок, запусками, которые длятся дольше обычного, и локальными средами выполнения интеграции, от которых они зависят. Каждая фабрика также получает карточку на панели мониторинга Overview. Ее значения поступают из источника Azure Monitor, который читает их с ролью только для чтения.
Что отслеживается
| Область | Проверки | Почему это важно |
|---|---|---|
| Запуски конвейеров | Неудачные запуски за последние 24 часа | Неудачная загрузка оставляет отчеты и зависимые системы с устаревшими данными |
| Ежедневный срок | Конвейеры с аннотацией schedule:daily, которые не завершились успешно к 06:00 | Бизнес ожидает данные в начале дня, какой бы ни была причина задержки |
| Длительность | Длительность каждого конвейера в сравнении с его собственной историей | Запуск, который внезапно длится намного дольше, часто становится первым признаком проблемы |
| Триггеры | Запуски триггеров, которые завершились ошибкой или были пропущены | Триггер, который не срабатывает, означает конвейер, который никогда не запускается |
| Среды выполнения интеграции | Узлы локальной среды выполнения интеграции в сети и их версия в сравнении с последней доступной | Отключенный узел останавливает все конвейеры, которые обращаются к локальным данным |
Ежедневный срок использует параметры проверки: deadline_local (06:00), timezone (по умолчанию America/New_York) и expected_pipelines_tag (schedule:daily). Измените их в проверке для своей фабрики. Все проверки с их правилами, причинами и действиями приведены в справочнике по проверкам Azure Data Factory.
Карточка Data Factory
Каждая фабрика получает карточку на панели Overview. На ней показаны сегодняшние запуски (успешные, неудачные, выполняющиеся, отмененные), неудачные и выполняющиеся запуски, среды выполнения интеграции с их состоянием, узлами, версией и последней доступной версией, а также следующие запуски триггеров, вычисленные по триггерам расписания, включая триггеры окна переворота. У триггеров событий нет следующего запуска. Период Today (сегодня) начинается в полночь по часовому поясу, заданному в поле Time zone источника.
Перед началом работы
- Источник Azure Monitor, у которого среди типов ресурсов указано Data factories и выбран параметр Data Factory runs. См. раздел Подключение Azure Monitor.
- Роль Reader (
acdd72a7-3385-48ef-bd42-f606fba81ae7) в подписках — для самих фабрик. - Настраиваемая роль Data Factory run reader на фабриках или их группах ресурсов. Data Factory предоставляет журнал запусков через действия, которые не входят в роль Reader, а встроенная роль Data Factory Contributor добавила бы доступ на запись. Определение роли и команды для ее назначения приведены в разделе Роль только для чтения для Data Factory.
- Модуль включен. Функция
monitoring.azureохватывает этот модуль и модуль Azure.
Добавление ресурса
Фабрики не добавляются вручную. Источник Azure Monitor получает их список и добавляет их в свою сущность вместе с проверками и карточкой. Без настраиваемой роли фабрики все равно появляются, а Test источника показывает Data Factory как необязательное разрешение, проверка которого не пройдена.