Хороший мониторинг сообщает о проблеме раньше пользователей и не будит инженера по пустякам. Разберём набор метрик, с которого стоит начать.
Двенадцать базовых метрик
Свободное место на дисках. Причина номер один остановки серверов. Порог: предупреждение на 20%, тревога на 10%.
Доступность сервиса. Не «сервер отвечает на пинг», а «приложение открывается и отдаёт нужную страницу». Проверка с внешней точки и изнутри сети.
Загрузка процессора и память. Не сама по себе, а устойчиво: тревога, если высокие значения держатся дольше 15 минут.
Состояние резервного копирования. Задание завершилось успешно, размер копии не отличается от вчерашнего в разы, копия открывается.
Сроки действия сертификатов. Предупреждение за 30 дней, тревога за 7. Просроченный сертификат кладёт сайт мгновенно.
Сроки продления доменов и лицензий. Та же логика, тот же ущерб.
Состояние дисковых массивов. Отказ одного диска в массиве незаметен, пока не откажет второй.
Температура в серверной. Кондиционер выходит из строя тихо, а последствия шумные.
Питание. Работа от батарей источника бесперебойного питания и остаточный заряд.
Очередь и задержки почты. Письма не уходят чаще, чем кажется.
Сетевые каналы. Доступность провайдера, потери пакетов, задержки.
Ошибки аутентификации. Всплеск неудачных входов это признак подбора паролей.
Метрика без порога и адресата бесполезна. У каждой должно быть три ответа: при каком значении тревога, кому уходит и что делать. Если на третий вопрос ответа нет, метрику можно не собирать.
Пороги и уровни
Разделите оповещения на три уровня, иначе инженер перестанет их читать.
| Уровень | Что это | Куда уходит |
|---|---|---|
| Информация | плановые события, отчёты | в журнал, без оповещения |
| Предупреждение | место кончается, сертификат истекает | почта, разбор в рабочее время |
| Тревога | сервис недоступен, копия не сделана | телефон дежурного, немедленно |
Главный враг мониторинга это шум. Если ночью приходит двадцать сообщений, из которых важны два, дежурный привыкает игнорировать все. Настройка порогов это не разовая работа: первые месяц-два они уточняются по факту.
Что мониторить не надо
Не собирайте метрики, на которые никто не реагирует. Загрузка процессора на рабочих станциях, количество запущенных процессов, детальная статистика по каждому диску, если у вас нет задачи планирования мощностей. Всё это создаёт ощущение контроля и не даёт пользы.
Также не стоит поднимать тревогу по единичным всплескам: короткий пик загрузки это нормальная работа, а не авария.
Кто и когда реагирует
Мониторинг без дежурства это система, которая пишет в пустоту. Определите заранее:
- кто получает тревоги в рабочее время
- кто получает их ночью и в выходные
- что делать, если он не ответил за 15 минут
- у кого есть право будить руководителя
Простейшая рабочая схема: тревога уходит дежурному, при отсутствии реакции через 15 минут эскалируется на старшего инженера, ещё через 15 на руководителя.
Отчёты для бизнеса
Отдельно от технических метрик полезно раз в месяц показывать руководству три цифры: доступность ключевых сервисов в процентах, количество аварий, среднее время устранения. Это язык, на котором ИТ разговаривает с бизнесом, и он лучше объясняет, зачем нужны вложения в инфраструктуру.
Мы подключаем мониторинг к инфраструктуре клиента в рамках обслуживания ИТ-инфраструктуры, а реакцию на ночные тревоги обеспечивает круглосуточная поддержка.