Azure Data Factory
O módulo do Azure Data Factory acompanha os seus pipelines de dados: execuções de pipelines e gatilhos com falha, pipelines diários que perdem o prazo, execuções que demoram mais do que o normal e os runtimes de integração auto-hospedados dos quais eles dependem. Cada data factory também ganha um cartão no Overview. Os valores vêm da fonte Azure Monitor, lidos com uma função somente leitura.
O que ele monitora
| Área | Verificações | Por que é importante |
|---|---|---|
| Execuções de pipeline | Execuções com falha nas últimas 24 horas | Uma carga com falha deixa relatórios e sistemas downstream com dados desatualizados |
| Prazo diário | Pipelines anotados com schedule:daily que não foram concluídos com êxito até 06:00 | A empresa espera os dados no início do dia, qualquer que seja a causa do atraso |
| Duração | A duração de cada pipeline em relação ao próprio histórico | Uma execução que de repente demora muito mais costuma ser o primeiro sinal de um problema |
| Gatilhos | Execuções de gatilho que falharam ou foram ignoradas | Um gatilho que não dispara significa um pipeline que nunca é executado |
| Runtimes de integração | Nós do runtime de integração auto-hospedado online e a versão deles em relação à mais recente disponível | Um nó offline interrompe todos os pipelines que acessam dados locais |
O prazo diário usa os parâmetros da verificação: deadline_local (06:00), timezone (America/New_York por padrão) e expected_pipelines_tag (schedule:daily). Altere-os na verificação da sua data factory. Cada verificação, com sua regra, causa e ação, está na referência das verificações do Azure Data Factory.
O cartão do Data Factory
Cada data factory ganha um cartão no Overview com as execuções de hoje (concluídas com êxito, com falha, em execução, canceladas), as execuções com falha e em execução, os runtimes de integração com o estado, os nós, a versão e a mais recente disponível, e as próximas execuções de gatilho calculadas a partir dos gatilhos de agendamento, incluindo as janelas em cascata. Os gatilhos de evento não têm próxima execução. Hoje começa à meia-noite no Time zone da fonte.
Antes de começar
- A fonte Azure Monitor com Data factories entre os tipos de recurso e Data Factory runs selecionado. Consulte Conectar o Azure Monitor.
- Reader (
acdd72a7-3385-48ef-bd42-f606fba81ae7) nas assinaturas, para as próprias data factories. - A função personalizada Data Factory run reader nas data factories ou nos grupos de recursos delas. O Data Factory expõe o histórico de execuções como ações que a função Reader não inclui, e a função interna Data Factory Contributor acrescentaria acesso de gravação. A definição da função e os comandos para atribuí-la estão em Uma função somente leitura para o Data Factory.
- O módulo está ativado. A opção de recurso
monitoring.azureabrange este módulo e o módulo do Azure.
Adicionar um recurso
Você não adiciona data factories manualmente. A fonte Azure Monitor as lista e as adiciona abaixo da entidade dela, com as verificações e o cartão. Sem a função personalizada, as data factories continuam aparecendo, e o Test da fonte lista o Data Factory como uma permissão opcional que falhou.