教學課程:為可用性群組設定警報
在本教學課程中,你會為桃花島物流的 ag-ventas 可用性群組設定警報,使警報反映業務的復原點目標(RPO)、送達正確的 Slack 頻道,並在計劃內工作期間保持安靜。最後,你會以一次計劃內容錯移轉來驗證設定。
你將學會:
- 把 RPO 換算為閾值,並一次為整個環境設定。
- 以最低嚴重程度將警報路由到 Slack。
- 使用維護時段,使計劃內容錯移轉不會通知任何人。
開始之前
- 群組已受到監控。如果還沒有,請依照快速入門:新增可用性群組操作。
- 你是桃花島物流上的 Entity admin,而且 Excubius 伺服器已設定 Slack。
- 數據庫管理員可以在測試期間對
ag-ventas執行計劃內的手動容錯移轉。
1. 把 RPO 換算為閾值
桃花島物流最多可接受遺失 5 分鐘的數據。檢查 sqlserver_ag.secondary_lag 會針對每個數據庫和次要複本,估算容錯移轉會遺失多少秒的數據。它的目錄基線是超過 60 秒為警告、超過 300 秒為嚴重,已經符合 5 分鐘的 RPO。
重做佇列會告訴你容錯移轉後需要多長時間才能復原。對於桃花島物流繁忙的銷售數據庫,請比基線更早發出警告:
- 開啟 Settings › Entities,並選擇桃花島物流 › Production。
- 開啟 Threshold defaults,並選取 Set a default for a check。
- 選擇 Database synchronization, queues and data loss(
sqlserver_ag.database_sync)。 - 選取 Set here,並輸入警告
> 25600KB(持續5m)及嚴重> 256000KB(持續5m)。 - 選取 Save。
Production 中所有可用性群組(不論現有或日後新增)現在都使用這些值。每個群組的檢查頁面會在這些值旁邊顯示 from Production。
提示
請在環境上設定數值,而不是在群組上設定。明年桃花島物流新增第二個群組時,它會自動繼承正確的閾值,無需額外步驟。
2. 將警報傳送到 Slack
- 開啟 Settings › Notifications,並在實體選擇器中選擇桃花島物流。
- 選取 Add Slack channel。輸入名稱桃花島警報、Slack 頻道
#ciguapa-alerts、Minimum 選 Warning;如果團隊閱讀西班牙文,Message language 選 Español。 - 選取 Test。頻道中會出現一則測試訊息。如果 Slack 拒絕該訊息,請邀請機器人加入頻道,然後再次測試。
桃花島物流底下所有項目的警報,現在都會傳送到該頻道。
3. 為測試開啟維護時段
容錯移轉一定會觸發嚴重警報,因為每次角色變更都需要有說明。進行計劃內測試時,請先開啟維護時段,這樣就不會有人收到通知:
- 開啟 Settings › Maintenance windows,並選擇桃花島物流 › Production。
- 選取 Start maintenance now,時長 30 分鐘,原因填寫 ag-ventas 計劃內容錯移轉測試。
- 選擇 Some resources,並選取
ag-ventas。它的複本和數據庫會一併涵蓋在內。
4. 執行容錯移轉並觀察
- 請數據庫管理員將
ag-ventas計劃內手動容錯移轉到sql-ventas-02。 - 在 Overview 上,群組顯示為 維護中,主要複本會在大約 30 秒內變更。
- 在 Alert inbox 中,篩選 Status: All。會有一個 Role change / failover detected 警報處於開啟狀態,並標示為 opened during maintenance。沒有傳送任何 Slack 訊息。
- 選取該警報,閱讀時間軸,然後選取 Resolve,備註填寫 計劃內測試。
5. 結束時段
在該時段上選取 End now。如果仍有任何警報處於開啟狀態,現在會在 #ciguapa-alerts 中發出通知,就如同剛剛才開啟一樣。由於你已解決該警報,所以不會傳送任何訊息。
清理
- 以相同方式,在新的時段內容錯移轉回
sql-ventas-01。 - 保留閾值及頻道;它們現在已是群組的設定。