Alertas e notificações
No Excubius, um alerta representa uma condição em um recurso, do momento em que é detectada até desaparecer. O Excubius mantém um único alerta por condição, não importa quantas vezes ela dispare, agrupa os alertas sob uma causa raiz quando uma falha explica outras e envia uma mensagem apenas quando há algo novo a dizer. Este artigo explica a vida de um alerta e as regras que decidem se uma notificação é enviada, quando e para onde.
De um resultado a uma mensagem
O monitoramento nunca espera pelo Slack: os resultados são armazenados e avaliados primeiro, e as mensagens saem logo em seguida e a partir de uma varredura em segundo plano a cada 15 segundos.
A vida de um alerta
| Status | Significa |
|---|---|
| Open | A condição se mantém e ninguém a confirmou |
| Acknowledged | Alguém assumiu o alerta. O nome dessa pessoa e o horário ficam registrados |
| Silenced | As notificações aguardam até um horário que alguém escolheu, de 1 minuto a 30 dias. Quando o tempo acaba, o alerta volta a ser Open |
| Resolved | A condição terminou. Os alertas resolvidos não aceitam mais ações e ficam no histórico |
Um alerta é resolvido sozinho quando a verificação se recupera, quando a fonte o fecha, quando o que ele media desaparece (um banco de dados que foi descartado, por exemplo) ou, no caso de um alerta Cannot reach, quando o recurso volta a responder. Um operador também pode resolvê-lo manualmente com uma observação; se a condição ainda se mantiver, a próxima execução da verificação abre um novo alerta. Quando um ticket do Jira de um alerta de evento, como um failover, chega a um status de concluído, o alerta também é resolvido.
A caixa de entrada também reúne as descobertas de segurança, que podem ser aceitas como risco, e os avisos do módulo de atualizações. Eles seguem a mesma vida, com as diferenças explicadas em Postura de segurança.
Um alerta por condição
O Excubius identifica uma condição por três coisas: o recurso, a verificação e os rótulos da verificação, como o nome do banco de dados ou o tipo de espera. Juntos, eles formam a impressão digital (fingerprint) do alerta. Enquanto a condição se mantém, cada novo resultado atualiza o mesmo alerta: o valor acompanha a execução mais recente e o contador de ocorrências aumenta. O título é o nome da verificação seguido dos valores dos rótulos, por exemplo Last full backup age — Sales.
Quando a condição desaparece e depois volta, um novo alerta é aberto com a mesma impressão digital, de modo que o histórico guarda cada episódio. Os alertas que vêm de uma fonte, como um issue do New Relic ou uma regra de alerta do Azure Monitor, são mantidos como um único alerta por regra do fornecedor e recurso, não importa quantas vezes o fornecedor o gere.
Escalonamento e lembretes
- Quando um aviso se torna crítico, o alerta é escalado: a mudança é registrada na linha do tempo e o canal é avisado na mesma hora.
- Quando um alerta crítico volta a ser um aviso, a mudança é registrada, mas não é enviada.
- As verificações de vencimento lembram você antes do prazo: um aviso 30 dias antes, um lembrete aos 14 dias e um alerta crítico aos 7 dias.
O escalonamento por tempo, como notificar outro canal quando ninguém confirma um alerta crítico em 15 minutos, ainda não está disponível. Hoje, um alerta chega aos canais da entidade uma vez, além dos escalonamentos, dos lembretes e da resolução.
Causa raiz: Cannot reach
Quando o coletor não consegue se conectar a um recurso três vezes seguidas, porque ele está inacessível, recusa a entrada ou excede o tempo limite, o Excubius abre um único alerta crítico Cannot reach para esse recurso. O alerta lista as verificações que não conseguem se conectar e quantas falhas cada uma teve.
Todos os outros alertas do recurso, já abertos ou abertos enquanto o recurso está inacessível, passam a ser dependentes desse alerta. O painel de detalhes de um dependente mostra Caused by, e a causa raiz mostra quantos alertas dependem dela. Os dependentes não são notificados enquanto a causa raiz está aberta, de modo que a equipe recebe uma única mensagem em vez de uma por verificação. A causa raiz é resolvida sozinha quando nenhuma verificação deixa mais de se conectar.
Quando uma mensagem é enviada
| Momento | Mensagem |
|---|---|
| Um alerta é aberto | Sim, para todos os canais cuja severidade mínima ele atinge |
| A severidade dele aumenta | Sim, mesmo durante o período de espera |
| Um dia de lembrete de uma verificação de vencimento | Sim |
| Ele é resolvido | Somente se a abertura foi anunciada |
| Ele se repete, diminui de severidade ou é confirmado | Não; a mudança é registrada na linha do tempo |
Cada mensagem traz o recurso e o caminho da entidade, a verificação, o valor comparado com o limite e a origem desse limite, desde quando, a ação sugerida do catálogo e um link para o alerta. As mensagens nunca citam o nome do produto, de modo que uma instalação que usa a própria marca a mantém.
Período de espera. O Excubius envia no máximo uma mensagem por condição a cada 10 minutos, a menos que a severidade aumente. Uma condição que é resolvida e volta dentro desse tempo não é anunciada duas vezes. Se uma mensagem retida ainda for válida quando o período terminar, uma varredura posterior a envia. Um administrador pode alterar o período para todo o servidor.
Entregas com falha. Uma mensagem que o Slack recusa é registrada na linha do tempo do alerta e enviada de novo nas próximas varreduras, em três tentativas no total.
Silêncios e janelas de manutenção
Os dois mantêm um canal em silêncio. Eles diferem no que cobrem e em como começam.
| Silêncio | Janela de manutenção | |
|---|---|---|
| Cobre | Um alerta existente | Uma entidade inteira, ou alguns recursos e o que foi detectado abaixo deles, incluindo alertas que ainda não existem |
| Quem inicia | Um operador, a partir do alerta | Um operador, em Settings › Maintenance windows |
| Duração | 1 hora, 4 horas, 1 dia, ou de 1 minuto a 30 dias | Agora, por um tempo definido; uma vez; ou toda semana |
| Durante | Nada é enviado sobre o alerta, exceto a resolução | Nada é enviado sobre os recursos cobertos. Eles mostram Em manutenção |
| Quando termina | O alerta volta a ser Open, e tudo o que o canal ainda não recebeu, como um escalonamento, é enviado | Os alertas ainda abertos são anunciados. Os alertas que abriram e desapareceram dentro da janela nunca são anunciados |
Nos dois casos, as verificações continuam em execução e o histórico fica completo. Use um silêncio quando você conhece a causa de um alerta e precisa de calma enquanto corrige o problema. Use uma janela de manutenção para trabalhos planejados.
Como uma mensagem encontra o canal
Os canais de notificação são canais do Slack definidos nas entidades. Um alerta vai para os canais habilitados da entidade mais próxima que tenha algum, subindo pela árvore a partir da entidade do alerta. Uma entidade herda os canais dos ancestrais até definir os próprios.
- Cada canal tem uma severidade mínima, Info, Warning ou Critical, e um idioma das mensagens, inglês ou espanhol, quando a instalação oferece idiomas. Os alertas abaixo do mínimo não são publicados nesse canal.
- Quando nenhuma entidade do caminho tem um canal, o canal padrão do servidor, se o administrador tiver definido um, recebe os avisos e os alertas críticos.
- Settings › Notifications mostra, para qualquer entidade, Where alerts go: os canais próprios dela ou os herdados.