Оповещения и уведомления
Оповещение в Excubius соответствует одному условию для одного ресурса — с момента обнаружения до момента, когда условие перестает выполняться. Excubius хранит одно оповещение на одно условие, сколько бы раз оно ни срабатывало, группирует оповещения по первопричине, когда один сбой объясняет другие, и отправляет сообщение, только когда есть что-то новое. В этой статье описан жизненный цикл оповещения и правила, которые определяют, отправляется ли уведомление, когда и куда.
От результата к сообщению
Мониторинг никогда не ждет Slack: сначала результаты сохраняются и оцениваются, а сообщения отправляются сразу после этого и при фоновой обработке каждые 15 секунд.
Жизненный цикл оповещения
| Статус | Значение |
|---|---|
| Open (открыто) | Условие выполняется, и никто его не подтвердил |
| Acknowledged (подтверждено) | Кто-то взял оповещение в работу. Имя этого человека и время записываются |
| Silenced (без уведомлений) | Уведомления ждут до выбранного кем-то времени — от 1 минуты до 30 дней. Когда время истекает, оповещение снова получает статус Open |
| Resolved (разрешено) | Условие больше не выполняется. С разрешенными оповещениями больше нельзя выполнять действия, они остаются в истории |
Оповещение разрешается само, когда проверка восстанавливается, когда источник закрывает его, когда исчезает измеряемый объект (например, удаленная база данных) или, для оповещения Cannot reach, когда ресурс снова отвечает. Оператор также может разрешить его вручную с примечанием; если условие все еще выполняется, следующий запуск проверки откроет новое оповещение. Когда задача Jira для оповещения о событии, например об отработке отказа, переходит в завершенный статус, оповещение тоже разрешается.
Во входящих оповещениях также находятся замечания безопасности, которые можно принять как риск, и бюллетени модуля обновлений. Их жизненный цикл такой же, а различия описаны в статье Состояние безопасности.
Одно оповещение на одно условие
Excubius определяет условие по трем признакам: ресурс, проверка и метки проверки, например имя базы данных или тип ожидания. Вместе они образуют отпечаток оповещения. Пока условие выполняется, каждый новый результат обновляет одно и то же оповещение: его значение соответствует последнему запуску, а счетчик срабатываний растет. Заголовок состоит из имени проверки и значений меток, например Last full backup age — Sales.
Если условие перестает выполняться, а позже возникает снова, открывается новое оповещение с тем же отпечатком, поэтому в истории сохраняется каждый эпизод. Оповещения из источника, например проблема New Relic или правило генерации оповещений Azure Monitor, хранятся как одно оповещение на правило поставщика и ресурс, сколько бы раз поставщик его ни создавал.
Повышение и напоминания
- Когда предупреждение становится критическим, оповещение повышается: изменение записывается в его хронологию, и канал сразу получает сообщение.
- Когда критическое оповещение снижается до предупреждения, изменение записывается, но сообщение не отправляется.
- Проверки сроков действия напоминают о сроке заранее: предупреждение за 30 дней, напоминание за 14 дней и критическое оповещение за 7 дней.
Повышение по времени, например уведомление другого канала, если никто не подтвердил критическое оповещение в течение 15 минут, пока недоступно. Сейчас оповещение поступает в каналы своей сущности один раз, а также при повышениях, напоминаниях и разрешении.
Первопричина: Cannot reach
Когда сборщику три раза подряд не удается подключиться к ресурсу, потому что ресурс недоступен, отклоняет вход или не отвечает вовремя, Excubius открывает для этого ресурса одно критическое оповещение Cannot reach. В оповещении перечислены проверки, которые не могут подключиться, и число сбоев каждой из них.
Все остальные оповещения ресурса — уже открытые или открытые, пока ресурс недоступен, — становятся зависимыми от этого оповещения. На панели сведений зависимого оповещения отображается поле Caused by, а для первопричины показывается число зависящих от нее оповещений. Пока первопричина открыта, уведомления о зависимых оповещениях не отправляются, поэтому команда получает одно сообщение, а не по одному на каждую проверку. Первопричина разрешается сама, когда ни одна проверка больше не сталкивается с ошибкой подключения.
Когда отправляется сообщение
| Момент | Сообщение |
|---|---|
| Оповещение открывается | Да, в каждый канал, минимальной серьезности которого оно достигает |
| Его серьезность повышается | Да, даже во время периода тишины |
| Наступает день напоминания для проверки сроков действия | Да |
| Оповещение разрешается | Только если о его открытии было объявлено |
| Оно повторяется, снижается или подтверждается | Нет; изменение записывается в хронологию |
Каждое сообщение содержит ресурс и путь к его сущности, проверку, значение в сравнении с пороговым значением и источник этого порогового значения, время начала, предлагаемое действие из каталога и ссылку на оповещение. В сообщениях никогда не упоминается название продукта, поэтому установка с собственным брендом сохраняет его.
Период тишины. Excubius отправляет не больше одного сообщения на условие каждые 10 минут, если только серьезность не повышается. Об условии, которое разрешилось и возникло снова в течение этого времени, не объявляется дважды. Если отложенное сообщение остается актуальным по окончании периода, его отправляет одна из следующих фоновых обработок. Администратор может изменить период для всего сервера.
Неудачная доставка. Сообщение, которое Slack отклонил, записывается в хронологию оповещения и повторно отправляется при следующих фоновых обработках — всего три попытки.
Отключение уведомлений и окна обслуживания
Оба механизма позволяют избежать сообщений в канале. Они различаются охватом и способом запуска.
| Отключение уведомлений | Окно обслуживания | |
|---|---|---|
| Охват | Одно существующее оповещение | Вся сущность или отдельные ресурсы и все, что обнаружено под ними, включая оповещения, которых еще нет |
| Кто запускает | Оператор из оповещения | Оператор из раздела Settings › Maintenance windows |
| Продолжительность | 1 час, 4 часа, 1 день или от 1 минуты до 30 дней | С текущего момента на заданное время; однократно; или еженедельно |
| Во время действия | Для оповещения не отправляется ничего, кроме сообщения о разрешении | О затронутых ресурсах ничего не отправляется. Они отображаются в состоянии Обслуживание |
| По окончании | Оповещение снова получает статус Open, и все, о чем канал еще не знает (например, повышение), отправляется | Об оповещениях, которые еще открыты, объявляется. Об оповещениях, которые открылись и закрылись внутри окна, не объявляется никогда |
В обоих случаях проверки продолжают выполняться, а история остается полной. Отключайте уведомления, когда вы знаете причину одного оповещения и вам нужна тишина на время исправления. Для плановых работ используйте окно обслуживания.
Как сообщение находит свой канал
Каналы уведомлений — это каналы Slack, заданные в сущностях. Оповещение отправляется во включенные каналы ближайшей сущности, у которой они есть: поиск идет вверх по дереву от сущности оповещения. Сущность наследует каналы предков, пока не определит собственные.
- У каждого канала есть минимальная серьезность (Info, Warning или Critical) и язык сообщений — английский или испанский, если установка поддерживает выбор языка. Оповещения ниже минимальной серьезности туда не публикуются.
- Если ни у одной сущности на пути нет канала, предупреждения и критические оповещения получает канал сервера по умолчанию, если администратор его задал.
- В разделе Settings › Notifications для любой сущности отображается Where alerts go: собственные каналы сущности или унаследованные.