阈值和基线
Excubius 中的每项检查都从一个基线开始:基线是已发布的、有明确来源的值,例如 Microsoft 的指导意见或你自己的恢复目标。实体和单个资源可以覆盖该值,屏幕会始终显示当前生效的值来自哪里。本文介绍基线及其来源、有效值如何解析、严重性和 for 持续时间如何决定警报何时触发,以及如何开启和关闭检查。
如何解析有效阈值
Excubius 从目录基线开始,沿实体树向下走到资源。每一级都可以替换一个值;最具体的值生效。值按键逐个解析:在这个示例中,警告级别来自生产,而严重级别来自资源本身。
某一级可以覆盖的键有:
| 键 | 含义 |
|---|---|
warn | 警告规则 |
crit | 严重规则 |
expect | 预期状态,用于比较状态的检查 |
window、sigma | 自适应检查的学习窗口和范围 |
某一级还可以关闭一条规则。如果某个实体关闭了某项检查的警告级别,那么在更低的级别重新设置该规则之前,该实体之下每个资源上这项检查都不再发出警告警报。
基线及其来源
目录中的每项检查都会说明其基线的来源,并附上参考资料,通常还有一条解释该值的说明。编辑检查时,资源的 Checks 选项卡会在 Baseline: 下显示这些信息,警报详细信息会显示这条说明,因此没有人需要猜测限值为什么设在那里。
| 来源 | 典型基线 |
|---|---|
| Microsoft 文档 | SQL Server CPU 80% 和 90%,磁盘延迟读取 20 毫秒、日志写入 10 毫秒,可用性组运行状况状态 |
| Azure Monitor 建议的警报 | 虚拟机 CPU 高于 80%,可用内存低于 10%,Azure SQL DTU 高于 80%,出现任何死锁 |
| CIS Benchmark | sa 已禁用,攻击面功能已关闭,特权组成员身份,已配置审核 |
| 社区实践 | 页面预期寿命、阻塞、日志空间、队列大小 |
| 你的恢复目标(RPO / RTO) | 最近一次完整备份和日志备份的时长,可用性组的预计数据丢失量,Data Factory 的每日截止时间 |
| 供应商文档 | PostgreSQL 事务 ID 回绕、Linux 勘误、Azure 服务 |
基线是起点,而不是裁决。把你的恢复目标设为备份检查和数据丢失检查的实体默认值,例如设在 高密物流 上,该实体之下的每个资源都会遵循它们。
谁可以更改什么
| 位置 | 谁 | 方式 |
|---|---|---|
| 一个资源 | 其实体上的 Editor(编辑者)或更高角色 | 资源的 Checks 选项卡:仅针对此资源的阈值。你没有改动的级别保留其继承的值。Back to inherited thresholds 会删除资源自己的值 |
| 一个实体及其下的所有内容 | 该实体上的 Entity admin(实体管理员) | Settings › Entities,阈值默认值:对于每一级,选择 Inherit、Set here 或 Turn off here |
每次更改都会记录在审核日志中,包括更改人和更改时间。实体默认值适用于将某个值与限值比较的检查;比较状态的检查保留目录中的规则,编辑器也会这样说明。
严重性和 for 持续时间
一项检查可以带有两条规则:warn 和 crit。每条规则都有一个运算符(>、>=、<、<=、==、!=、in、not_in 或 matches)、一个值,以及可选的 for 持续时间,例如 30s、15m、1h 或 1d。
- 条件必须在整个
for持续时间内保持成立,警报才会触发。在此之前就消失的短暂峰值不会变成警报。 - 警报采用条件已保持足够长时间的最严重级别。当警告变为严重时,同一条警报会升级,而不会再触发第二条。
- 恢复是即时的:条件一旦不再成立,警报就会解决。
并不是每项检查都把数字与限值比较。目录使用几种评估方式:
| 类型 | 判定方式 |
|---|---|
| 阈值 | 对测量值应用规则,例如 CPU 百分比 |
| 时长 | 对某个时长或某项内容到期前的剩余天数应用规则。从未发生过的事情(例如从未备份的数据库)视为无限久 |
| 计数 | 对行数应用规则,例如被阻塞的会话。没有行就是计数为零,因此警报会解决 |
| 状态 | 结果的每个字段都必须与预期状态一致,例如副本必须为 HEALTHY |
| 变化 | 计数器会转换为每秒或每分钟的速率,规则应用于该速率。对于其他值,与上一次运行相比的任何变化(例如故障转移或 sysadmin 的新成员)都是一个事件,在有人解决之前一直保持打开 |
| 自适应 | 学习该值的正常范围;见下文 |
对真实路径进行探测的探测器(例如链接服务器或 Web 终结点)在连续失败若干次后变为严重:默认是一次,链接服务器是三次。
自适应基线
有些吞吐量指标没有合理的固定限值:每秒批处理请求数、Data Factory 管道的持续时间、应用程序吞吐量。它们的检查使用自适应基线,即在一个窗口内将该值与资源自己的历史记录比较,例如 14 天,范围为两个标准差。
在此版本中,自适应检查只学习。它们的值会被存储,状态显示为 Learning(学习中),目前还不会触发警报。它们从不更改其他检查的固定阈值。
开启和关闭检查
添加资源时,Excubius 会为它添加其类型的每一项在目录中标记为默认开启的检查,范围限于你的安装已开启的模块。少数目录检查默认关闭,需要时再添加到资源上。
- Editor 在 Checks 选项卡中为单个资源关闭或开启某项检查,例如针对实验室服务器。已关闭的检查仍保留在列表中,以灰色显示,这样没有人会忘记它的存在。
- 编辑者还可以更改某项检查在该资源上的运行频率,范围从 10 秒到 7 天。留空时,检查按目录的间隔运行,该间隔在 30 秒到 24 小时之间。
- 若要让某项检查在整个分支上停止发出警报,同时保留其历史记录,实体管理员可以在实体上关闭它的各个级别。
你的选择在重新发现和升级后依然保留:Excubius 只添加缺少的默认检查,从不改动现有检查。