教程:为可用性组配置警报
在本教程中,你将为高密物流的 ag-ventas 可用性组配置警报,使其反映业务的恢复点目标 (RPO),发送到正确的 Slack 频道,并在计划内工作期间保持安静。最后,你将通过一次计划内故障转移来验证配置。
你将学习如何:
- 将 RPO 转换为阈值,并一次性为整个环境设置。
- 按最低严重性将警报路由到 Slack。
- 使用维护时段,使计划内故障转移不会呼叫任何人。
开始之前
- 该组已被监视。如果没有,请按照快速入门:添加可用性组操作。
- 你在高密物流上具有 Entity admin 角色,并且 Excubius 服务器上已配置 Slack。
- 在测试期间,数据库管理员可以对
ag-ventas执行计划内的手动故障转移。
1. 将 RPO 转换为阈值
高密物流最多可接受丢失 5 分钟的数据。检查 sqlserver_ag.secondary_lag 按数据库和次要副本估计故障转移会丢失多少秒的数据。其目录基线为:高于 60 秒时警告,高于 300 秒时严重,这已经符合 5 分钟的 RPO。
重做队列告诉你故障转移后需要多长时间才能恢复。对于高密物流繁忙的销售数据库,请比基线更早发出警告:
- 打开 Settings › Entities,选择 高密物流 › Production。
- 打开 Threshold defaults,选择 Set a default for a check。
- 选择 Database synchronization, queues and data loss (
sqlserver_ag.database_sync)。 - 选择 Set here,输入警告
> 25600KB(持续5m)和严重> 256000KB(持续5m)。 - 选择 Save。
Production 中的每个可用性组,无论现有的还是将来新增的,现在都使用这些值。每个组的检查页面会在这些值旁边显示 from Production。
提示
在环境上设置该值,而不是在组上设置。明年高密物流添加第二个组时,它会继承正确的阈值,无需任何额外步骤。
2. 将警报发送到 Slack
- 打开 Settings › Notifications,在实体选取器中选择高密物流。
- 选择 Add Slack channel。输入名称 高密物流警报,Slack 频道
#ciguapa-alerts,Minimum 选 Warning;如果团队阅读西班牙语,则 Message language 选 Español。 - 选择 Test。频道中会出现一条测试消息。如果 Slack 拒绝该消息,请邀请机器人加入频道,然后重新测试。
高密物流下所有内容的警报现在都会发送到该频道。
3. 为测试打开维护时段
故障转移总会触发严重警报,因为每次角色变更都需要说明。对于计划内的测试,请先打开一个时段,这样就不会呼叫任何人:
- 打开 Settings › Maintenance windows,选择 高密物流 › Production。
- 选择 Start maintenance now,时长 30 分钟,原因为 ag-ventas 的计划内故障转移测试。
- 选择 Some resources,然后选取
ag-ventas。其副本和数据库也一并涵盖。
4. 执行故障转移并观察
- 请数据库管理员对
ag-ventas执行计划内的手动故障转移,转移到sql-ventas-02。 - 在 Overview 上,该组显示为 维护中,主要副本会在大约 30 秒内发生变化。
- 在 Alert inbox 中,筛选 Status: All。会有一条名为 Role change / failover detected 的警报处于打开状态,标有 opened during maintenance。没有发送任何 Slack 消息。
- 选择该警报,阅读时间线,然后选择 Resolve,并附上备注 计划内测试。
5. 结束时段
在该时段上选择 End now。如果仍有任何警报处于打开状态,现在就会在 #ciguapa-alerts 中发布,就像它刚刚打开一样。由于你已解决该警报,因此不会发送任何内容。
清理
- 以同样的方式,在新的时段内故障回复到
sql-ventas-01。 - 保留阈值和频道;它们现在是该组的配置。