警報及通知
Excubius 中的一條警報,代表某個資源上的某一個條件,由偵測到該條件開始,直到條件消除為止。無論條件觸發多少次,Excubius 都只為它保留一條警報;當一個故障可以解釋其他故障時,會把相關警報歸入同一個根本原因;只有在有新內容要通知時,才會發送訊息。本文說明警報的生命週期,以及決定通知是否發送、何時發送和發送到哪裡的規則。
從結果到訊息
監控從不等待 Slack:系統先儲存並評估結果,訊息隨後發出,另外由後台每 15 秒掃描一次再發送。
警報的生命週期
| 狀態 | 含義 |
|---|---|
| Open | 條件持續成立,而且沒有人確認 |
| Acknowledged | 已有人負責處理。系統會記錄對方的姓名及時間 |
| Silenced | 通知會暫緩到某人選定的時間,由 1 分鐘至 30 天。時間到達後,警報會再次變成 Open |
| Resolved | 條件已經結束。已解決的警報不再接受任何操作,並保留在歷史記錄中 |
警報會在以下情況自動解決:檢查已恢復正常、數據源把它關閉、它所量測的對象消失(例如數據庫被刪除),或者對 Cannot reach 警報而言,資源再次回應。操作員也可以手動解決警報並附上備註;如果條件仍然成立,下一次檢查執行時會開啟新的警報。事件類警報(例如容錯移轉)的 Jira 工單進入完成狀態時,該警報也會隨之解決。
收件匣中還有安全發現(可以接受為風險)及更新模組的公告。它們的生命週期相同,差異請參閱安全態勢。
每個條件一條警報
Excubius 以三項資料識別一個條件:資源、檢查及檢查的標籤,例如數據庫名稱或等待類型。三者合起來構成警報的指紋。條件持續成立期間,每個新結果都會更新同一條警報:它的數值跟隨最新一次執行,occurrences 計數也會增加。標題是檢查名稱加上標籤值,例如 Last full backup age — Sales。
當條件消除後又再出現,系統會以相同的指紋開啟新警報,因此歷史記錄會保留每一次事件。來自數據源的警報,例如 New Relic 問題或 Azure Monitor 警報規則,則按每個供應商規則及資源保留一條警報,無論供應商觸發多少次。
升級及提醒
- 當警告變成嚴重,警報會升級:變更會記錄在時間線上,並立即通知頻道。
- 當嚴重警報緩和為警告,變更會被記錄,但不會發送。
- 到期檢查會在期限前提醒你:30 天前發出警告,14 天前發出提醒,7 天前升級為嚴重。
目前尚未提供按時間升級的功能,例如嚴重警報在 15 分鐘內無人確認時通知另一個頻道。現時一條警報只會發送一次到其實體的頻道,另加升級、提醒及解決通知。
根本原因:Cannot reach
當採集器因資源無法連接、拒絕登入或逾時,連續三次無法連線到資源時,Excubius 會為該資源開啟一條嚴重的 Cannot reach 警報。警報會列出無法連線的檢查,以及每項檢查已失敗的次數。
該資源的其他所有警報,無論是已經開啟的,還是在資源無法連線期間開啟的,都會成為這條警報的從屬警報。從屬警報的詳細資料窗格會顯示 Caused by,根本原因則顯示有多少條警報依賴它。根本原因開啟期間,不會通知從屬警報,因此團隊只會收到一則訊息,而不是每項檢查一則。當不再有檢查無法連線時,根本原因會自動解決。
何時發送訊息
| 時機 | 訊息 |
|---|---|
| 警報開啟 | 會,發送到嚴重程度達到其最低要求的每個頻道 |
| 嚴重程度上升 | 會,即使在冷卻期內也一樣 |
| 到期檢查的提醒日 | 會 |
| 警報解決 | 只有在開啟時已通知過才會 |
| 警報重複出現、緩和或被確認 | 不會;變更記錄在時間線上 |
每則訊息都包含資源及其實體路徑、檢查、數值與閾值的比較及該閾值的來源、持續時間、目錄中的建議措施,以及警報的連結。訊息從不提及產品名稱,因此使用自有品牌的安裝可以保持其品牌。
冷卻期:除非嚴重程度上升,否則 Excubius 對每個條件每 10 分鐘最多發送一則訊息。條件在這段時間內解決後又再出現,不會重複通知。如果被暫緩的訊息在冷卻期結束時仍然適用,之後的掃描會把它發出。管理員可以更改整部伺服器的冷卻期。
發送失敗:Slack 拒絕的訊息會記錄在警報的時間線上,並由之後的掃描重試,一共三次。
靜音及維護時段
兩者都能讓頻道保持安靜,但涵蓋範圍及啟動方式不同。
| 靜音 | 維護時段 | |
|---|---|---|
| 涵蓋範圍 | 一條現有的警報 | 整個實體,或部分資源及其下探索到的內容,包括尚未出現的警報 |
| 誰可以啟動 | 操作員,在警報上操作 | 操作員,在 Settings › Maintenance windows 中操作 |
| 持續時間 | 1 小時、4 小時、1 天,或 1 分鐘至 30 天 | 立即開始並持續指定時間;一次性;或每週重複 |
| 期間 | 除了解決通知外,不會為該警報發送任何通知 | 不會發送涉及所涵蓋資源的任何通知。這些資源顯示為 維護中 |
| 結束時 | 警報再次變成 Open,頻道尚未得知的內容(例如升級)會發出 | 仍然開啟的警報會發出通知。在時段內開啟又消除的警報,永遠不會發出通知 |
在兩種情況下,檢查都會繼續執行,歷史記錄也保持完整。如果你知道某條警報的原因,並需要在修復期間保持安靜,請使用靜音。計劃中的工作則請使用維護時段。
訊息如何找到頻道
通知頻道是設定在實體上的 Slack 頻道。警報會發送到最近一個設有頻道的實體所啟用的頻道,查找時由警報所在的實體沿樹向上走。實體會繼承其上層實體的頻道,直至它定義自己的頻道為止。
- 每個頻道都有最低嚴重程度:Info、Warning 或 Critical,以及訊息語言(安裝提供多種語言時,可選英文或西班牙文)。低於最低要求的警報不會發佈到該頻道。
- 如果路徑上沒有任何實體設有頻道,而管理員已設定伺服器的預設頻道,該頻道會接收警告及嚴重警報。
- Settings › Notifications 會為任何實體顯示 Where alerts go:它自己的頻道,或繼承而來的頻道。