Azure Data Factory
Le module Azure Data Factory surveille vos pipelines de données : les exécutions de pipelines et de déclencheurs en échec, les pipelines quotidiens qui manquent leur échéance, les exécutions plus longues que d'habitude et les runtimes d'intégration auto-hébergés dont ils dépendent. Chaque fabrique obtient aussi une carte sur le tableau de bord Overview. Ses valeurs proviennent de la source Azure Monitor, qui les lit avec un rôle en lecture seule.
Ce qu'il surveille
| Domaine | Vérifications | Pourquoi c'est important |
|---|---|---|
| Exécutions de pipelines | Exécutions en échec au cours des dernières 24 heures | Un chargement en échec laisse des données obsolètes dans les rapports et les systèmes en aval |
| Échéance quotidienne | Pipelines annotés schedule:daily qui n'ont pas réussi avant 06:00 | L'entreprise attend les données en début de journée, quelle que soit la cause du retard |
| Durée | Durée de chaque pipeline comparée à son propre historique | Une exécution qui devient soudain beaucoup plus longue est souvent le premier signe d'un problème |
| Déclencheurs | Exécutions de déclencheurs en échec ou ignorées | Un déclencheur qui ne se déclenche pas signifie un pipeline qui ne s'exécute jamais |
| Runtimes d'intégration | Nœuds de runtime d'intégration auto-hébergé en ligne, et leur version comparée à la dernière disponible | Un nœud hors ligne arrête tous les pipelines qui accèdent aux données locales |
L'échéance quotidienne utilise les paramètres de la vérification : deadline_local (06:00), timezone (America/New_York par défaut) et expected_pipelines_tag (schedule:daily). Modifiez-les sur la vérification de votre fabrique. Chaque vérification, avec sa règle, sa cause et l'action à mener, figure dans la référence des vérifications Azure Data Factory.
La carte Data Factory
Chaque fabrique obtient une carte sur le tableau de bord Overview avec les exécutions du jour (réussies, en échec, en cours, annulées), les exécutions en échec et en cours, ses runtimes d'intégration avec leur état, leurs nœuds, leur version et la dernière version disponible, ainsi que les prochaines exécutions des déclencheurs, calculées à partir des déclencheurs de planification, fenêtres bascules comprises. Les déclencheurs d'événements n'ont pas de prochaine exécution. Aujourd'hui commence à minuit dans le fuseau Time zone de la source.
Avant de commencer
- La source Azure Monitor, avec Data factories parmi ses types de ressources et Data Factory runs sélectionné. Consultez Connecter Azure Monitor.
- Reader (
acdd72a7-3385-48ef-bd42-f606fba81ae7) sur les abonnements, pour les fabriques elles-mêmes. - Le rôle personnalisé Data Factory run reader sur les fabriques ou leurs groupes de ressources. Data Factory expose l'historique des exécutions sous forme d'actions que Reader n'inclut pas, et le rôle intégré Data Factory Contributor ajouterait un accès en écriture. La définition du rôle et les commandes pour l'attribuer se trouvent dans Un rôle en lecture seule pour Data Factory.
- Le module est activé. La fonctionnalité
monitoring.azurecouvre ce module et le module Azure.
Ajouter une ressource
Vous n'ajoutez pas les fabriques à la main. La source Azure Monitor les répertorie et les ajoute sous son entité, avec leurs vérifications et leur carte. Sans le rôle personnalisé, les fabriques apparaissent quand même, et le bouton Test de la source signale Data Factory comme une autorisation facultative en échec.