采集器的工作方式
采集器是 Excubius 中负责访问你的系统的部分。它通过只读连接运行目录中的检查,读取你添加的数据源,并将原始结果发送到 API,由 API 进行评估、触发警报并发送通知。本文说明它的工作方式、使用的传输方式、每个模块的需求、要开放的网络路径,以及它绝不会做的事情。
检查如何运行
- 采集器每 30 秒向 API 询问要运行什么:目录中的检查定义、它们针对的资源,以及它们使用的凭据。没有任何变化时,回答为空,几乎不产生开销。
- 它按每个检查的间隔,通过目录指定的传输方式运行检查,例如对 SQL Server 实例使用 T-SQL,对 Web 终结点使用 HTTP。
- 它将原始结果分批发送到 API。API 将结果与有效阈值比较,打开和解决警报,并通知相应的频道。
- 它每 10 秒获取一次一次性作业,例如 Test connection、Discover,以及数据源的 Test 和 Sync now。它每 60 秒报告一次检测信号,Overview 的 Sources 区域会显示该信号。
采集器运行在 Excubius 服务器内部,紧邻 API。它只接收自己的令牌和设置;它从不接触数据库密码或加密所存储机密的密钥。凭据通过内部网络传给它,保存在内存中,并且从不记录到日志。
传输方式
传输方式是采集器与某一类系统通信的方式。每一种都只读取数据。
| 传输方式 | 连接对象 | 端口 | 凭据类型 | 状态 |
|---|---|---|---|---|
| T-SQL(Microsoft ODBC Driver 18) | SQL Server 实例、可用性组、链接服务器、Reporting Services 执行日志 | 1433 或实例的端口;没有固定端口的命名实例使用 UDP 1434 | SQL 登录名 | 支持 |
| HTTP(S) | Web 终结点、Reporting Services 门户、TLS 证书、域名到期(RDAP) | 443、80 | 无、Windows 账户(NTLM)、HTTP 用户和密码、持有者令牌 | 支持 |
| DNS | 使用服务器的解析程序,对终结点和可用性组侦听器进行名称解析 | 53 | 无 | 支持 |
| Azure Resource Graph | 云态势检查、Defender for Cloud 评估、Azure Update Manager、Service Health | 443 | 服务器的托管标识,或 Azure 服务主体 | 支持 |
| Microsoft Graph | Entra ID 身份检查 | 443 | 服务器的托管标识,或 Azure 服务主体 | 支持 |
| Wazuh | Wazuh 索引器,以及可选的管理器 API | 你设置的 URL | HTTP 用户和密码 | 打开 Wazuh 时支持 |
| WinRM | Windows 主机检查、Active Directory 检查 | 5986 (HTTPS) | Windows 账户 | 实验性 |
| SSH | Linux 主机检查 | 22,或主机的 ssh_port | SSH 密钥、SSH 密码 | 实验性 |
| PostgreSQL | PostgreSQL 模块检查 | 5432 | SQL 登录名 | 尚不可用:检查会被添加,但保持为 未知 |
WinRM 和 SSH 传输方式已经存在,它们的检查也会添加到 Windows 和 Linux 主机,但尚未在真实主机上验证。对于这些主机,在某个版本将它们标记为受支持之前,请使用 NinjaOne、New Relic 或 Azure Monitor 作为数据源。
采集器也会读取数据源,通过 HTTPS (443),每个数据源都有自己的适配器:New Relic 通过 NerdGraph,NinjaOne 通过其公共 API,Azure Monitor 通过 Azure Resource Manager、Resource Graph、Azure Monitor、Data Factory、Key Vault 和 Microsoft Graph。请参阅数据源。
默认情况下,采集器提供其映像中包含相应库的所有传输方式。EXCUBIUS_COLLECTOR_TRANSPORTS 可以缩小该列表;请参阅环境变量。
每个模块的需求
| 模块 | 采集方式 | 你需要提供 |
|---|---|---|
| SQL Server、可用性组、SQL Server 安全 | T-SQL | 每个实例和副本上的只读 SQL 登录名 |
| Windows | WinRM(实验性),或 New Relic 和 NinjaOne | 属于三个本地读取组的 Windows 账户,或一个数据源 |
| Linux | SSH(实验性),或 New Relic 和 NinjaOne | 带密钥的非 root 用户,或一个数据源 |
| PostgreSQL | 尚不能原生采集;Azure 灵活服务器通过 Azure Monitor | 具有 pg_monitor 的角色,为将来支持采集做好准备 |
| Azure、Azure Data Factory | Azure Monitor 数据源 | Reader 和 Monitoring Reader,外加只读的 Data Factory 角色 |
| 综合检查 | HTTP、DNS、T-SQL | 仅受保护的终结点和报表服务器需要凭据 |
| 到期 | Azure Monitor、HTTP (RDAP)、T-SQL、WinRM | Key Vault 和 Microsoft Graph 读取权限 |
| 更新 | 由 API 读取的供应商源,外加清单检查 | 服务器到这些源的出站 HTTPS |
| 身份安全 | Microsoft Graph、WinRM | 只读的 Graph 应用程序权限 |
| 云安全 | Resource Graph、Defender for Cloud、Wazuh | Reader 和 Security Reader;只读的 Wazuh 用户 |
| New Relic、NinjaOne | 它们各自的数据源 | 只读密钥或 API 客户端 |
所有权限集中在一处:权限。
网络路径
每个连接都从 Excubius 服务器发起。没有任何连接指向采集器。
| 目标 | 端口 | 用途 |
|---|---|---|
| 每个 SQL Server 实例、副本、侦听器名称和侦听器 IP | SQL 端口,默认为 1433 | SQL Server 模块、可用性组、综合 SQL 往返测试 |
| 没有固定端口的命名实例 | UDP 1434 | SQL Server Browser |
| Web 终结点和 Reporting Services 门户 | 443、80 | 综合检查、TLS 证书 |
| 服务器的 DNS 解析程序 | 53 | 名称解析检查 |
data.iana.org 和各注册机构的 RDAP 服务器 | 443 | 域名到期 |
| Windows 主机 | 5986 | WinRM(实验性) |
| Linux 主机 | 22 | SSH(实验性) |
management.azure.com、graph.microsoft.com、你的密钥保管库(*.vault.azure.net),以及使用服务主体时的 login.microsoftonline.com | 443 | Azure Monitor 数据源、Azure 态势和身份检查 |
api.newrelic.com 或 api.eu.newrelic.com | 443 | New Relic 数据源 |
app.ninjarmm.com,或 eu.、oc. 或 ca.ninjarmm.com | 443 | NinjaOne 数据源 |
| Wazuh 索引器和管理器 | 它们的端口 | Wazuh |
获取更新源以及与 Slack 和 Jira 通信的是 API,而不是采集器;请参阅环境变量。来自数据源的 Webhook 到达服务器公共地址的 443 端口,并交给 API,绝不会交给采集器。
限制和超时
| 限制 | 值 |
|---|---|
| 同时运行的检查 | 总共 32 个;按传输方式:T-SQL 8、HTTP 和 DNS 16、SSH 8、WinRM 4、Resource Graph 4、Defender、Microsoft Graph 和 Wazuh 2 |
| SQL Server 登录超时 · 查询超时 | 10 s · 30 s(目录参数 timeout_seconds、query_timeout_seconds) |
| 每个查询读取的行数 | 1,000 |
| 单个检查的最长运行时间 | 120 s |
| API 无法访问时保留的结果 | 10,000;最旧的先丢弃 |
SQL Server 会话带有应用程序名称 monitoring-collector,因此数据库管理员可以在 sys.dm_exec_sessions 中识别它们。
采集器绝不会做什么
采集器在预配和代码层面都是只读的。它从不安装、更新、重启或停止任何内容,从不写入数据、注册表或配置,从不终止会话,也从不执行修复操作。需要写入的检查在审查是否纳入目录时就会被拒绝。
它实际发送的内容:
- SQL Server:对动态管理视图、目录视图、
msdb备份和作业表以及报表服务器ExecutionLog3执行SELECT;将sys.sp_readerrorlog读入表变量;对链接服务器使用sp_testlinkedserver。 - HTTP:仅限
GET和HEAD。 - Azure 和 Wazuh:读取,外加少量属于查询的
POST请求,例如 Resource Graph 查询、Data Factory 运行查询或 Wazuh 的_search。其他任何请求都会在代码中被拒绝。 - WinRM 和 SSH:目录中编写的 PowerShell 和 shell 命令,它们只读取数据。
每个检查的确切查询都在目录中,也可以通过 API 的 GET /api/v1/catalog/checks/{id} 查看。
可选数据源的代理
Excubius 不会在它所监视的系统上安装任何内容。可选数据源(例如 Wazuh)的代理由你自己的工具部署,例如 NinjaOne 或你的配置管理工具。