Как работает сборщик
Сборщик — это часть Excubius, которая подключается к вашим системам. Он выполняет проверки из каталога через подключения только для чтения, считывает данные из добавленных вами источников и отправляет необработанные результаты в API, который оценивает их, создает оповещения и отправляет уведомления. В этой статье объясняется, как работает сборщик, какие транспорты он использует, что нужно каждому модулю, какие сетевые пути нужно открыть и чего сборщик никогда не делает.
Как выполняется проверка
- Каждые 30 секунд сборщик запрашивает у API, что нужно выполнить: определения проверок из каталога, ресурсы, на которые они нацелены, и используемые ими учетные данные. Если ничего не изменилось, ответ пуст и почти ничего не стоит.
- Сборщик выполняет каждую проверку с ее интервалом через транспорт, указанный в каталоге, например T-SQL для экземпляра SQL Server или HTTP для веб-адреса.
- Сборщик отправляет необработанные результаты в API пакетами. API сравнивает их с действующими пороговыми значениями, открывает и разрешает оповещения и уведомляет нужные каналы.
- Каждые 10 секунд сборщик получает разовые задания, например Test connection, Discover, а также Test и Sync now для источника. Каждые 60 секунд он отправляет пульс, который отображается в зоне Sources панели мониторинга Overview.
Сборщик работает внутри сервера Excubius рядом с API. Он получает только собственный токен и параметры; он никогда не видит пароль базы данных или ключ, которым шифруются хранимые секреты. Учетные данные поступают к нему по внутренней сети, хранятся в памяти и никогда не записываются в журналы.
Транспорты
Транспорт — это способ, которым сборщик взаимодействует с системами одного вида. Каждый транспорт только читает данные.
| Транспорт | К чему подключается | Порт | Вид учетных данных | Состояние |
|---|---|---|---|---|
| T-SQL (Microsoft ODBC Driver 18) | Экземпляры SQL Server, группы доступности, связанные серверы, журнал выполнения Reporting Services | 1433 или порт экземпляра; UDP 1434 для именованных экземпляров без фиксированного порта | Имя входа SQL | Поддерживается |
| HTTP(S) | Веб-адреса, порталы Reporting Services, сертификаты TLS, сроки регистрации доменов (RDAP) | 443, 80 | Нет, учетная запись Windows (NTLM), пользователь и пароль HTTP, токен Bearer | Поддерживается |
| DNS | Разрешение имен конечных точек и прослушивателей групп доступности с помощью сопоставителя сервера | 53 | Нет | Поддерживается |
| Azure Resource Graph | Проверки состояния облака, оценки Defender for Cloud, Azure Update Manager, Service Health | 443 | Управляемое удостоверение сервера или субъект-служба Azure | Поддерживается |
| Microsoft Graph | Проверки удостоверений Entra ID | 443 | Управляемое удостоверение сервера или субъект-служба Azure | Поддерживается |
| Wazuh | Индексатор Wazuh и, при необходимости, API диспетчера | Заданные вами URL-адреса | Пользователь и пароль HTTP | Поддерживается, когда Wazuh включен |
| WinRM | Проверки узлов Windows, проверки Active Directory | 5986 (HTTPS) | Учетная запись Windows | Экспериментально |
| SSH | Проверки узлов Linux | 22 или ssh_port узла | Ключ SSH, пароль SSH | Экспериментально |
| PostgreSQL | Проверки модуля PostgreSQL | 5432 | Имя входа SQL | Пока недоступно: проверки добавляются, но остаются в состоянии Неизвестно |
Транспорты WinRM и SSH существуют, и их проверки добавляются к узлам Windows и Linux, но они еще не проверены на реальных узлах. Для таких узлов используйте NinjaOne, New Relic или Azure Monitor в качестве источника, пока в одном из выпусков эти транспорты не будут отмечены как поддерживаемые.
Источники тоже считывает сборщик по HTTPS (443), и для каждого из них есть собственный адаптер: New Relic через NerdGraph, NinjaOne через общедоступный API, а Azure Monitor через Azure Resource Manager, Resource Graph, Azure Monitor, Data Factory, Key Vault и Microsoft Graph. См. статью Источники.
По умолчанию сборщик предлагает все транспорты, библиотеки которых есть в его образе. EXCUBIUS_COLLECTOR_TRANSPORTS сужает этот список; см. статью Переменные среды.
Что нужно каждому модулю
| Модуль | Источник данных | Что вы предоставляете |
|---|---|---|
| SQL Server, группы доступности, безопасность SQL Server | T-SQL | Имя входа SQL только для чтения на каждом экземпляре и каждой реплике |
| Windows | WinRM (экспериментально) или New Relic и NinjaOne | Учетная запись Windows в трех локальных группах с правами чтения или источник |
| Linux | SSH (экспериментально) или New Relic и NinjaOne | Пользователь без прав root с ключом или источник |
| PostgreSQL | Собственный сбор пока недоступен; гибкие серверы Azure через Azure Monitor | Роль с pg_monitor, подготовленная к появлению сбора |
| Azure, Azure Data Factory | Источник Azure Monitor | Reader и Monitoring Reader, а также роль Data Factory только для чтения |
| Синтетические проверки | HTTP, DNS, T-SQL | Учетные данные только для защищенных конечных точек и серверов отчетов |
| Сроки действия | Azure Monitor, HTTP (RDAP), T-SQL, WinRM | Разрешения на чтение для Key Vault и Microsoft Graph |
| Обновления | Каналы поставщиков, которые считывает API, а также проверки инвентаризации | Исходящий доступ по HTTPS с сервера к каналам |
| Безопасность удостоверений | Microsoft Graph, WinRM | Разрешения приложения Graph только для чтения |
| Безопасность облака | Resource Graph, Defender for Cloud, Wazuh | Reader и Security Reader; пользователь Wazuh только для чтения |
| New Relic, NinjaOne | Соответствующий источник | Ключ или клиент API только для чтения |
Все разрешения в одном месте: Разрешения.
Сетевые пути
Каждое подключение начинается на сервере Excubius. К сборщику ничто не подключается.
| Куда | Порт | Для чего |
|---|---|---|
| Каждый экземпляр SQL Server, реплика, имя прослушивателя и IP-адрес прослушивателя | Порт SQL, по умолчанию 1433 | Модули SQL Server, группы доступности, синтетические циклы обращения к SQL |
| Именованные экземпляры без фиксированного порта | UDP 1434 | Обозреватель SQL Server (SQL Server Browser) |
| Веб-адреса и порталы Reporting Services | 443, 80 | Синтетические проверки, сертификаты TLS |
| DNS-сопоставитель сервера | 53 | Проверки разрешения имен |
data.iana.org и серверы RDAP регистратур | 443 | Сроки регистрации доменов |
| Узлы Windows | 5986 | WinRM (экспериментально) |
| Узлы Linux | 22 | SSH (экспериментально) |
management.azure.com, graph.microsoft.com, ваши хранилища ключей (*.vault.azure.net) и login.microsoftonline.com, если вы используете субъект-службу | 443 | Источник Azure Monitor, проверки состояния Azure и удостоверений |
api.newrelic.com или api.eu.newrelic.com | 443 | Источник New Relic |
app.ninjarmm.com или eu., oc. либо ca.ninjarmm.com | 443 | Источник NinjaOne |
| Индексатор и диспетчер Wazuh | Их порты | Wazuh |
Каналы обновлений загружает API, а не сборщик, и со Slack и Jira тоже взаимодействует API; см. статью Переменные среды. Веб-перехватчики от источников поступают на публичный адрес сервера через порт 443 и передаются API, но никогда не сборщику.
Ограничения и время ожидания
| Ограничение | Значение |
|---|---|
| Одновременно выполняемые проверки | Всего 32; по транспортам: T-SQL 8, HTTP и DNS 16, SSH 8, WinRM 4, Resource Graph 4, Defender, Microsoft Graph и Wazuh 2 |
| Время ожидания входа SQL Server · время ожидания запроса | 10 с · 30 с (параметры каталога timeout_seconds, query_timeout_seconds) |
| Строк, считываемых за один запрос | 1000 |
| Максимальная длительность одной проверки | 120 с |
| Результаты, хранимые, пока API недоступен | 10 000; первыми удаляются самые старые |
Сеансы SQL Server используют имя приложения monitoring-collector, поэтому администраторы баз данных могут распознать их в sys.dm_exec_sessions.
Чего сборщик никогда не делает
Сборщик работает только в режиме чтения как по способу подготовки, так и по коду. Он никогда ничего не устанавливает, не обновляет, не перезапускает и не останавливает, никогда не записывает данные, реестр или конфигурацию, никогда не завершает сеансы и никогда не выполняет исправления. Проверка, которой потребовалась бы запись, отклоняется при рассмотрении для каталога.
Что сборщик отправляет:
- SQL Server:
SELECTк динамическим административным представлениям, представлениям каталога, таблицам резервного копирования и заданий вmsdbи кExecutionLog3сервера отчетов;sys.sp_readerrorlogв табличную переменную;sp_testlinkedserverдля связанных серверов. - HTTP: только
GETиHEAD. - Azure и Wazuh: операции чтения, а также несколько запросов
POST, которые являются запросами на выборку, например запрос Resource Graph, запрос запусков Data Factory или_searchв Wazuh. Все остальное отклоняется в коде. - WinRM и SSH: команды PowerShell и оболочки, записанные в каталоге, которые только читают данные.
Точный запрос каждой проверки приведен в каталоге и в API по адресу GET /api/v1/catalog/checks/{id}.
Агенты для дополнительных источников
Excubius ничего не устанавливает в отслеживаемых системах. Агенты дополнительных источников, например Wazuh, развертываются вашими собственными средствами, например NinjaOne или вашей системой управления конфигурацией.