警报和通知
Excubius 中的一条警报代表一个资源上的一种情况,从检测到该情况起,直到它消除为止。无论触发多少次,Excubius 都为每种情况只保留一条警报;当一次故障可以解释其他警报时,它会把这些警报归入同一个根本原因;只有在有新内容可说时,它才会发送消息。本文介绍警报的生命周期,以及决定是否发送通知、何时发送和发送到哪里的规则。
从结果到消息
监视从不等待 Slack:结果会先被存储和评估,消息随后发出,此外后台扫描每 15 秒也会发送一次。
警报的生命周期
| 状态 | 含义 |
|---|---|
| Open | 条件仍然成立,且没有人确认 |
| Acknowledged | 已有人在处理。系统会记录其姓名和时间 |
| Silenced | 通知等待到某人选定的时间,范围从 1 分钟到 30 天。时间到后,警报重新变为 Open |
| Resolved | 条件已经结束。已解决的警报不再接受任何操作,并保留在历史记录中 |
当检查恢复正常、数据源将其关闭、被测量的对象消失(例如数据库被删除),或者对于 Cannot reach(无法访问)警报,当资源重新响应时,警报会自行解决。操作员也可以手动解决警报并附上说明;如果条件仍然成立,下一次检查运行时会触发新的警报。当事件型警报(例如故障转移)对应的 Jira 工单进入完成状态时,该警报也会解决。
收件箱中还包含安全发现(可以作为风险接受)和更新模块发布的公告。它们遵循同样的生命周期,差异见安全态势。
每种情况一条警报
Excubius 通过三个要素识别一种情况:资源、检查以及该检查的标签,例如数据库名称或等待类型。它们共同构成警报的指纹。在条件成立期间,每个新结果都会更新同一条警报:其值跟随最近一次运行,occurrences(出现次数)计数器不断增加。标题是检查名称加上标签值,例如 Last full backup age — Sales。
当条件消除后又再次出现时,会以相同的指纹触发新警报,因此历史记录会保留每一次事件。来自数据源的警报(例如 New Relic 问题或 Azure Monitor 警报规则)是每条供应商规则和每个资源保留一条警报,无论供应商触发多少次。
升级和提醒
- 当警告变为严重时,警报会升级:变化会记录在它的时间线上,并立即通知频道。
- 当严重警报缓和为警告时,变化会被记录,但不会发送。
- 到期检查会在截止日期之前提醒你:提前 30 天发出警告,14 天时发出提醒,7 天时变为严重。
按时间升级目前还不可用,例如当严重警报在 15 分钟内无人确认时通知另一个频道。目前,一条警报只会到达其实体的频道一次,另外还有升级、提醒及其解决通知。
根本原因:Cannot reach
当采集器连续三次无法连接到某个资源(因为它无法访问、拒绝登录或超时)时,Excubius 会为该资源触发一条严重的 Cannot reach 警报。该警报会列出无法连接的检查,以及每项检查已失败的次数。
该资源的所有其他警报,无论是已经触发的,还是在资源无法访问期间触发的,都会成为这条警报的从属警报。从属警报的详细信息面板会显示 Caused by,而根本原因会显示有多少条警报依赖它。根本原因处于打开状态时,不会通知从属警报,因此团队只会收到一条消息,而不是每项检查一条。当不再有检查无法连接时,根本原因会自行解决。
何时发送消息
| 时机 | 消息 |
|---|---|
| 警报触发 | 发送,发送到其严重性达到最低严重性要求的每个频道 |
| 严重性升高 | 发送,即使在冷却期内也发送 |
| 到期检查的某个提醒日 | 发送 |
| 警报解决 | 仅当其触发时已发送过通知才发送 |
| 重复出现、缓和或被确认 | 不发送;变化记录在时间线上 |
每条消息都包含资源及其实体路径、检查、值与阈值的对比以及该阈值的来源、起始时间、目录中建议的操作,以及警报的链接。消息从不提及产品名称,因此使用自有品牌的安装会保留其品牌。
冷却期。 除非严重性升高,否则 Excubius 对每种情况每 10 分钟最多发送一条消息。在这段时间内解决后又重新出现的情况不会被通知两次。如果被压住的消息在冷却期结束时仍然适用,后续的扫描会发送它。管理员可以为整个服务器更改该时间段。
发送失败。 Slack 拒绝的消息会记录在警报的时间线上,并由后续扫描重试,总共三次。
静默和维护时段
两者都会让频道保持安静。它们的区别在于覆盖范围和启动方式。
| 静默 | 维护时段 | |
|---|---|---|
| 覆盖范围 | 一条已有的警报 | 整个实体,或某些资源及其下发现的内容,包括尚不存在的警报 |
| 谁来启动 | 操作员,从警报处启动 | 操作员,从 Settings › Maintenance windows 启动 |
| 持续时间 | 1 小时、4 小时、1 天,或 1 分钟到 30 天 | 立即开始并持续设定的时间;一次性;或每周重复 |
| 期间 | 除该警报的解决通知外,不发送任何内容 | 不发送有关所覆盖资源的任何内容。它们显示为 维护中 |
| 结束时 | 警报重新变为 Open,频道尚未收到的内容(例如升级)会发出 | 仍处于打开状态的警报会被通知。在时段内触发又消除的警报永远不会被通知 |
在这两种情况下,检查都会继续运行,历史记录保持完整。当你知道某条警报的原因,并需要在修复期间保持安静时,请使用静默。对计划内的工作,请使用维护时段。
消息如何找到自己的频道
通知频道是设置在实体上的 Slack 频道。警报会发送到最近一个设置了频道的实体的已启用频道,查找时从警报所在的实体沿树向上走。实体会继承其上级的频道,直到它定义自己的频道。
- 每个频道都有一个最低严重性,即 Info、Warning 或 Critical,以及消息语言:英语,或在安装提供多种语言时为西班牙语。低于最低严重性的警报不会发布到该频道。
- 如果路径上没有任何实体设置频道,则由服务器的默认频道(如果管理员设置了)接收警告和严重警报。
- Settings › Notifications 会为任意实体显示 Where alerts go:它自己的频道或继承的频道。