В админке: Здоровье
Здоровье
Как панель проверяет каждый профиль как настоящий клиент, что смотрит и что умеет исправлять доктор ноды и как алерты открываются, закрываются и глушатся.
На этой странице
- Проверки глазами клиента
- Как устроена проверка
- Расписание
- Как читать таблицу
- Что значат числа
- MTProto
- Когда сервер панели теряет UDP
- Что значит «зелёный»
- Проверка из страны
- Доктор ноды
- Когда он работает
- Проверки
- Исправления
- «Это нормально для этой ноды»
- Алерты
- Как алерты открываются и закрываются
- Виды алертов
- Важность и значки
- Чем закончился алерт
- Кнопки в алерте
- Заглушка
- Закрытие
- События на странице ноды
- Кто что может
Mistgate следит за флотом с двух сторон. Панель подключается к каждому профилю на каждой ноде так же, как приложение пользователя (проверки глазами клиента), а агент на каждой ноде проверяет собственный хост (доктор ноды). Из этого и из состояния нод складываются алерты. Всё собрано на странице Здоровье во вкладках Алерты, Проверки и Доктор; у страницы ноды есть своя вкладка Доктор, а на вкладке Обзор видны проверки этой ноды.
Проверки глазами клиента#
Как устроена проверка#
Для каждого профиля на ноде панель поднимает туннель встроенным клиентом и через него запрашивает две страницы (профиль MTProto — исключение: см. MTProto):
| Запрос | Что доказывает |
|---|---|
https://www.gstatic.com/generate_204 |
Туннель пропускает трафик. Ответ должен быть 204. Затем панель запрашивает её ещё раз по тому же соединению; что значат времена, описано ниже. |
https://www.cloudflare.com/cdn-cgi/trace |
Где трафик выходит в интернет: IP выхода и его страна. |
Имена хостов разрешает нода, а не панель, поэтому сломанный резолвер на ноде тоже проваливает проверку.
Результат бывает трёх видов:
- Успех: ответили обе страницы.
- С ошибками: туннель работает, но одна из двух страниц не ответила. Число показывается цветом предупреждения. Такой результат сам по себе алерт не открывает.
- Провал: туннель не поднялся или не ответила ни одна страница.
Клиент зависит от протокола:
- Hysteria2. Официальный клиент Hysteria2 внутри панели. Он подключается к адресу ноды и к собственному порту профиля (не к диапазону прыжков по портам, поэтому закрытый диапазон прыжков проверка не увидит). Он использует обфускацию профиля (Salamander или Gecko) и правила сертификата, как настоящий клиент: самоподписанный сертификат сверяется с отпечатком, который сообщила нода, любой другой проверяется по полю Домен (SNI) профиля.
- AmneziaWG. amneziawg-go внутри процесса панели на сетевом стеке в userspace: без сетевого интерфейса, без root, без изменений в маршрутах сервера панели. Конфигурация та же, что получает настоящее устройство. Каждый круг — новое устройство, так что каждый круг заодно проверяет рукопожатие. Нода не отвечает незнакомому пиру и пакету с чужой обфускацией, поэтому отсутствие рукопожатия и закрытый UDP-порт выглядят одинаково: оба случая — таймаут.
- VLESS. Для каждой попытки панель запускает отдельный процесс-помощник с xray-core и использует те же рассчитанные параметры клиента, что и ссылка подписки. REALITY проверяет подлинность сервера, TLS — цепочку сертификатов для имени сервера профиля. При CDN-переопределении проверка подключается к хосту и порту CDN, используя этот хост для SNI и HTTP Host; без CDN она подключается к адресу ноды и порту входящего подключения. Проверка TLS остаётся включённой для сертификата CDN, поэтому панель не получает самоподписанный сертификат источника за CDN. Проверяются REALITY поверх TCP Vision или XHTTP и TLS поверх XHTTP или WebSocket. Сбой пути через CDN помечается как
via_cdnс хостом CDN; такие входящие подключения не учитываются в критическом оповещении о сбое всех проверяемых подключений ноды. Fleet не отправляет входящее подключение агенту, пока подключённая нода не сообщит нужную возможность:vless/1илиvless-self/1для REALITY,vless-tls/1для TLS. Пока входящее подключение ожидает этой возможности, проверка клиента не запускается. - MTProto. Собственный клиент Fake TLS в панели, который вместо двух страниц спрашивает Telegram. См. MTProto.
Протокол без тестового клиента показывается как не проверяется.
Проверка идёт от скрытой служебной учётки на каждом профиле каждой ноды: она не принадлежит ни пользователю, ни устройству и никогда не появляется в списках пользователей, подписках, квотах и инструментах MCP. Для VLESS это обычная стабильная учётная запись с UUID. На профиле Hysteria2 нода ограничивает её скоростью 2 Мбит/с. На профиле AmneziaWG она занимает один адрес из клиентской сети профиля.
Проверки идут с сервера панели. Зелёная проверка доказывает, что клиент из сети панели проходит через ноду. Блокировки, которые есть только в сетях ваших пользователей, она не увидит.
Расписание#
| Что | Значение |
|---|---|
| Интервал для каждого профиля на ноде | 5 минут. У каждого профиля своё постоянное смещение внутри интервала и разброс до 10 секунд, поэтому круги распределены равномерно. Настройки для интервала в админке нет. |
| Круг | Одна попытка и, если она провалилась, повтор через 15 секунд. Итог круга — последняя попытка. |
| Ограничения по времени | 8 секунд на рукопожатие, 10 секунд на каждую страницу, 25 секунд на всю попытку. |
| Пока профиль не проходит | Круг каждые 60 секунд, чтобы быстро подтвердить проблему и быстро заметить восстановление. |
| Кругов одновременно | 4. |
| Новый профиль | Впервые проверяется в течение 30 секунд. |
| Проверить сейчас | Запускает круг сразу для всего флота («Здоровье» → «Проверки») или для одной ноды (Проверить эту ноду сейчас). Не чаще одного круга на профиль в 30 секунд; более ранний клик ответит «Только что проверяли». |
Как читать таблицу#
«Здоровье» → «Проверки» — таблица: строки — ноды, столбцы — профили. В ячейке время ответа в миллисекундах или состояние:
| Ячейка | Значение |
|---|---|
123 мс |
Последний круг прошёл. Число — время ответа, медиана за последний час. |
2,6 с с часами, под числом |
Подключение заняло 2 с или больше, медиана за последний час. Туннель работает, поэтому цвет остаётся спокойным. |
| ✕ не проходит | Профиль не проходит проверку. |
| ✕ не запущен | Нода не смогла запустить профиль. |
| выкл. | Вы выключили профиль на этой ноде. |
| нет связи | Нода не на связи. |
| не проверяется | Для протокола у панели нет тестового клиента. |
| запуск | Профиль запускается. |
| обн. | Нода обновляет агента. |
| … | Результата ещё нет: первый круг пройдёт в ближайшие минуты. |
| — | Профиль не развёрнут на этой ноде. |
Провалом считается только «не проходит». Остальные состояния — пропущенные круги: они не сохраняются и не влияют на счётчик неудач подряд.
Клик по ячейке открывает последние 24 часа в получасовых столбиках высотой по времени с нуля (красные — где круг провалился), IP выхода и Подряд с ошибкой. Алерт открывается после двух проваленных кругов подряд.
Если круг провалился, ячейка объясняет почему:
| Код | Что пишет админка |
|---|---|
timeout |
Нет рукопожатия: UDP-трафик, скорее всего, не доходит |
auth |
Нода отклонила проверочную учётку панели |
tls |
Сертификат или домен не совпадает |
refused |
Соединение отклонено: на порту никто не слушает |
exit_unreachable |
Туннель работает, а выход ноды в интернет нет |
http_status |
Тестовые сайты отвечают ошибкой |
Что значат числа#
Все три числа замеряются на сервере панели, а не на устройстве человека.
| Число | Что это |
|---|---|
| Ответ | Число в ячейке. Сразу после первого ответа панель ещё раз запрашивает generate_204 по тому же соединению: это время запроса через уже открытый туннель, его и чувствует человек. В ячейке медиана за последний час; пока её нет — последний круг, затем время с нуля. |
| Подключение | От начала круга до первого соединения через туннель: рукопожатие Hysteria2 или AmneziaWG, у VLESS — TCP и REALITY или TLS. Медиана за последний час. От 2 с у ячейки появляется вторая строка с часами. |
| С нуля | От начала круга до первого байта первого ответа: рукопожатие, новое TLS-соединение с тестовым сайтом через туннель и сам запрос. Это число показывают столбики за 24 часа. Раньше панель показывала его в ячейке. |
Наведите курсор на ячейку или перейдите к ней клавишей Tab: подсказка покажет медианы ответа и подключения за час, последний круг с его временем, ответом и подключением, а также успешные и проваленные круги за 24 часа. На странице ноды то же показывают строки блока Проверки глазами клиента.
MTProto#
Прокси для Telegram — не общий туннель, поэтому его проверка спрашивает Telegram, а не две страницы выше. Каждая попытка со скрытым ключом проверки профиля:
- подключается по TCP к порту профиля на ноде;
- проходит рукопожатие Fake TLS с именем профиля, как это делает Telegram, и проверяет ответ ноды;
- открывает поток obfuscated2 к дата-центру Telegram 2 через прокси, отправляет первый запрос (
req_pq_multi) и проверяет, что приходит корректный ответresPQ.
Она доказывает, что нода принимает клиента с верным ключом, достаёт до Telegram и что Telegram отвечает через прокси. Ячейка показывает время всей попытки; IP выхода нет. Она не доказывает, что сеть внутри страны, которая блокирует MTProto, пропустит трафик. Сбои используют те же коды:
| Код | Что это значит для MTProto |
|---|---|
refused |
TCP-соединение не удалось: на порту никто не слушает или мешает файрвол |
timeout |
Один из шагов не ответил вовремя: соединение, рукопожатие Fake TLS или дата-центр Telegram |
auth |
Нода не приняла ключ проверки и ответила своим запасным сайтом: профиль только что изменили, и нода ещё не применила изменение, или часы ноды неверны |
tls |
Ответ на приветствие Fake TLS не был корректным ServerHello |
exit_unreachable |
Прокси принял клиента, но дата-центр Telegram не ответил: нода не достаёт до адресов Telegram (фильтр хостера, маршрут) |
Когда сервер панели теряет UDP#
Некоторые хостеры отбрасывают UDP пачками. Тогда проверка Hysteria2 или AmneziaWG с сервера панели платит за каждый потерянный пакет таймером повтора: секунду и больше у QUIC и у TCP внутри туннеля AmneziaWG, 5 с у рукопожатия WireGuard. Если эти проверки идут на секунду и больше дольше, чем VLESS до тех же нод, дело в сети панели, а не в нодах.
Проверка Hysteria2 ещё и считает потерянные пакеты в обе стороны. По дороге к ноде её собственный клиент QUIC считает, сколько пакетов он отправил и признал потерянными в каждом круге, рукопожатие тоже, и то же за последний час (MCP checks_results: udp_sent, udp_lost, udp_sent_hour, udp_lost_hour). Обратно считает нода: сколько она отправила проверке и потеряла, по служебному ключу проверки (node_sent_hour, node_lost_hour; ноды присылают их раз в 10 минут). Пакет, который был ещё в пути, когда QUIC выбросил ключи рукопожатия, потерянным не объявляется, так что потеря в самом первом обмене может не попасть в счёт.
Тогда панель пишет об этом над таблицей, называет ноды, долю медленных UDP-кругов и потери пакетов Hysteria2 по дороге к нодам и обратно. Сообщение появляется, когда за последний час:
- у ноды не меньше 20 % кругов Hysteria2 и AmneziaWG (и не меньше трёх таких кругов) шли на 600 мс и больше дольше медианы кругов VLESS до той же ноды, от начала подключения до первого ответа;
- у VLESS кругов, подключавшихся 2 с или дольше, меньше 5 % (иначе медленна вся сеть панели, а не только UDP);
- нода без профиля VLESS считается, когда её UDP-круги подключались 2 с или дольше, и только вместе с ещё одной такой нодой.
Людей это не касается: они подключаются к нодам напрямую. Проверки при этом проходят, и алерт из-за этого не открывается. Если сообщение возвращается снова и снова, спросите хостера сервера панели, не фильтрует ли он UDP и нет ли лимитов, или перенесите панель на другой сервер.
Что значит «зелёный»#
Зелёная ячейка значит, что в последние минуты клиент из сети панели завершил рукопожатие с этим профилем на этой ноде и через выход ноды открыл два известных сайта. Она не доказывает, что работает диапазон прыжков по портам, что сети ваших пользователей пропускают трафик и что каждое приложение справляется с профилем.
Проверка из страны#
Открываются ли ноды изнутри страны (по умолчанию России), проверяют Globalping, списки блокировок, ТСПУ-зонд, cheburcheck и bsbord, и для этого в админке есть отдельный раздел, Доступность: см. Доступность. Здесь Здоровье → Проверки показывает вердикт последней колонкой Из России, а страница ноды строкой.
Доктор ноды#
Агент каждой ноды прогоняет 21 проверку своего хоста. Они только читают: файлы в /proc и /sys, несколько файлов конфигурации и команды, которые ничего не меняют (systemctl list-*, nft list, timedatectl show, dmesg, journalctl -k). Любое изменение — отдельный подтверждаемый шаг (см. «Исправления» ниже).
Когда он работает#
- Примерно через 30 секунд после подключения агента, затем каждые 10 минут (с разбросом до минуты).
- Проверить снова на «Здоровье» → «Доктор» или на вкладке Доктор ноды просит ноду прогнать проверки сейчас и ждёт отчёт до 30 секунд.
- У каждой проверки 10 секунд, у всего прогона 30 секунд. Проверка, которая зависла или не может работать на этом хосте (контейнер, нет systemd, не root), получает статус Пропущено с причиной. Ложного «Ок» не бывает.
- Отчёт старше 25 минут считается устаревшим: админка показывает его серым и пишет, сколько ему. У ноды не на связи показан её последний отчёт, а исправления недоступны, пока она не вернётся.
- Про агента, который появился раньше доктора, админка пишет «слишком старый для доктора». Обновите его на странице «Обновления».
У каждого пункта одно из четырёх состояний: Ок, Внимание (предупреждение), Проблема и Пропущено.
Проверки#
| Проверка | Что смотрит | Внимание | Проблема | Исправление |
|---|---|---|---|---|
Место на диске (disk_space) |
Занятое место и inodes на / и на томе каталога состояния агента, считая как df. |
Занято 80% или свободно меньше 1 ГБ | Занято 92%, свободно меньше 300 МБ или занято 95% inodes | Сжать журнал, если журнал не меньше 300 МБ |
Размер журнала systemd (journald_size) |
Сколько журнал systemd занимает на диске. Базовая настройка ограничивает его 200 МБ. | Больше 300 МБ (лимит не работает) | Больше 1 ГБ | Сжать журнал |
Зависшие процессы (dstate_tasks) |
Процессы в непрерываемом ожидании в трёх замерах с интервалом 2 секунды, ошибки QXL/TTM в журнале ядра и нагрузка, равная числу ядер, когда процессор 10 минут простаивает. | Есть зависший процесс | Зависание два прогона подряд, зависание QXL/TTM или нагрузка при простое | Нет: перезагрузите сервер из панели хостера |
Часы (time_sync) |
Расхождение с часами панели и синхронизация NTP. | Расхождение больше 2 секунд или NTP не синхронизирован | Расхождение больше 30 секунд | Нет: включите NTP (timedatectl set-ntp true) |
Резолвер сервера (resolver) |
Отвечает ли собственный резолвер хоста для www.cloudflare.com, www.gstatic.com и www.google.com, а на нодах в России ещё для gosuslugi.ru, в Китае — для www.baidu.com. 3 секунды на имя, один повтор. |
Одно имя не разрешается или медиана ответа больше 500 мс | Не разрешаются два имени и больше или домен страны ноды | Исправить резолвер, только если рекомендованные резолверы ответили в том же прогоне |
IPv6 (ipv6) |
Глобальный IPv6-адрес и исходящее IPv6-соединение с двумя публичными резолверами на порт 443. | Адрес IPv6 есть, а исходящие соединения не проходят (у клиентов, получивших AAAA-записи, сайты подвисают) | Нет | Нет |
Следы других VPN (foreign_vpn) |
Службы systemd x-ui, Xray, remnanode, hysteria-server и wg-quick@, контейнеры Docker с VPN-образами, интерфейсы wg* и awg*, которые не принадлежат Mistgate, запущенные процессы xray, x-ui и sing-box. |
Что-то из этого найдено | Что-то из этого занимает порт профиля | Нет: удалять или нет, решаете вы |
Чужие правила файрвола (foreign_nft) |
Таблицы nftables, которые не принадлежат Mistgate. Старые правила iptables эта проверка не видит. | В чужой таблице есть хук nat | Чужое правило перенаправляет, подменяет или отбрасывает порт или диапазон прыжков профиля | Нет |
Занятые порты (port_conflicts) |
Слушающие сокеты на портах профилей, их диапазонах прыжков и на TCP-порту HTTPS-заглушки и ACME профиля Hysteria2. | Чужой слушатель в диапазоне прыжков, чужой процесс на TCP-порту или профиль, который не смог занять порт, а сейчас порт свободен | Чужой процесс держит порт профиля | Перезапустить профиль, только для профиля, который не смог занять порт |
Базовая настройка сети (net_baseline) |
fq как qdisc по умолчанию, алгоритм перегрузки BBR, UDP-буферы net.core.rmem_max и net.core.wmem_max не ниже 16 МиБ, файл sysctl и дополнение к journald от Mistgate. Новые UDP-сокеты ретрансляции получают не менее 1 МиБ из net.core.rmem_default и net.core.wmem_default; суммарную память UDP по-прежнему ограничивает net.ipv4.udp_mem. Таблица conntrack получает не менее 65 536 записей и 16 384 корзин хеширования; заданные вами более высокие значения сохраняются. |
Что-то отличается (заполненную таблицу conntrack оценивает conntrack_fill) |
Нет | Вернуть базовые настройки, если они отличаются |
Сертификаты (cert_expiry) |
Сертификат, который на деле отдаёт каждый профиль с TLS, совпадает ли он с доменом, и собственный сертификат агента для связи с панелью. | У сертификата профиля меньше 14 дней, у сертификата агента меньше 5 дней | Меньше 3 дней, истёк или не подходит к домену; у сертификата агента меньше суток | Перезапустить профиль, только для самоподписанного сертификата |
Память (memory_pressure) |
Доступная память, своп, давление на память (PSI) и убийства по OOM в журнале ядра за сутки. | Доступно меньше 12%, своп занят больше чем на 50% под давлением или было убийство по OOM | Доступно меньше 5%, сильное давление или OOM убил агента или движок VPN | Нет |
CPU softirq (cpu_softirq) |
Средняя доля softirq и общая загрузка процессора за 10 минут. Пропускается, пока не набрано 30 замеров. | softirq 50% и больше | softirq 90% и больше или процессор 97% и больше | Нет |
CPU steal (cpu_steal) |
Средняя доля процессорного времени, которую гипервизор отдал другим виртуалкам на том же хосте, за те же 10 минут. Пропускается, пока не набрано 30 замеров. | 10% и больше | 25% и больше | Нет: попросите провайдера перенести сервер или перенесите ноду |
Таблица соединений (conntrack_fill) |
Записи таблицы отслеживания соединений ядра против nf_conntrack_max и отброшенные пакеты, если ядро их считает. Полная таблица отбрасывает каждое новое соединение. Пропускается, если conntrack не загружен. |
Заполнена на 80% | Заполнена на 95% | Нет: поднимите net.netfilter.nf_conntrack_max или переведите людей |
Открытые файлы агента (agent_fds) |
Открытые файловые дескрипторы агента (каждое соединение — один из них) против его мягкого лимита; служба разрешает 65 536. | 80% лимита | 95% лимита | Нет: запустите агента как службу или переведите людей |
Заголовки ядра (kernel_headers) |
Заголовки ядра, dkms, make и gcc для модуля ядра AmneziaWG. Пропускается без профиля AmneziaWG; пока AmneziaWG работает в userspace, это просто факт. |
Запрошен режим ядра, модуль не работает, а инструментов не хватает | Нет | Нет: см. AmneziaWG |
Бэкенд AmneziaWG (awg_backend) |
Чем работает AmneziaWG: модулем ядра или в userspace. Пропускается без профиля AmneziaWG. | Файрвол хоста отбрасывает пересылаемый трафик (часто из-за Docker); режим ядра работает на запасном userspace, потому что модуль не загружается | Нет рабочего бэкенда: нет /dev/net/tun, устаревший служебный файл или нет модуля в режиме ядра |
«Обновить службу», если unit_outdated и агент предлагает это исправление; «Вернуться на модуль» при работе на запасном userspace |
Выход через WARP (warp_path) |
Туннель WARP ноды и его маршруты. Пропускается, если у ноды нет аккаунта WARP и ни один профиль не выходит через WARP. | WARP на паузе, а профили выходят через него, или туннель поднят, но его последняя проверка не прошла | Профили выходят через WARP, а аккаунта у ноды нет; на хосте таблица маршрутов, приоритет правила или имя интерфейса WARP заняты; нет бэкенда WireGuard; WARP не работает | Проверить WARP / переподключить при сбое, если туннель не работает или его последняя проверка не прошла |
Поколение юнита (unit_generation) |
Совпадает ли systemd-юнит агента с этой сборкой. Пропускается, если агент запущен вручную. | Юнит старее этой сборки | Нет | Обновить службу; агент перезапустится, подключения могут прерваться на несколько секунд |
Обновления безопасности (security_updates) |
На Debian и Ubuntu проверяет пакет unattended-upgrades, действующие настройки APT::Periodic и что оба таймера apt-daily включены и запущены. Проверка только читает. В Debian стандартный шаблон источников пакета может включать и обновления стабильного выпуска. | Пакет не установлен или настройка/таймер выключены | Нет | Включить обновления безопасности, после подтверждения владельца (предлагается, когда агент работает от root под systemd; иначе доктор показывает команду для ручного запуска) |
Нода без IPv6 с WARP — это нормально: WARP ходит через свой IPv4-адрес, и админка показывает пункт IPv6 как «Ок».
Предупреждение или проблема открывают алерт (см. «Виды алертов» ниже). Исключение — проверка сертификатов: она открывает алерт «Сертификат скоро истечёт», а не алерт доктора.
Исправления#
Исправлений ровно восемь. Они встроены в агента: панель присылает только идентификатор исправления, а агент проверяет параметры (профиль должен быть одним из тех, что работают на ноде). Только enable_security_updates может поставить пакет, и для него нужно подтверждение владельца. Исправления не удаляют данные.
| Кнопка | Что делает | Где предлагается |
|---|---|---|
| Сжать журнал | journalctl --vacuum-size=200M --vacuum-time=7d |
Размер журнала systemd, Место на диске |
| Вернуть базовые настройки | Заново записывает файл sysctl от Mistgate (/etc/sysctl.d/90-mistgate.conf: fq, BBR и UDP-буферы не ниже 16 МиБ) и дополнение к journald (/etc/systemd/journald.conf.d/90-mistgate.conf: лимит 200 МБ), а также защиту SSH (ограничение частоты новых SSH-подключений с одного адреса). |
Базовая настройка сети |
| Перезапустить профиль | Перезапускает один профиль на ноде или все профили, которые не запустились. Подключения через профиль обрываются на пару секунд и восстанавливаются сами. | Занятые порты, Сертификаты (самоподписанные) |
| Исправить резолвер | Направляет резолвер хоста на DNS-серверы этой ноды с вкладки Выход ноды, а если там выбран резолвер самого сервера — на резолверы по умолчанию для страны ноды: Яндекс DNS (77.88.8.8, 77.88.8.1) в России, AliDNS и DNSPod (223.5.5.5, 119.29.29.29) в Китае, 1.1.1.1 и 8.8.8.8 в остальных странах. При systemd-resolved пишет дополнение (/etc/systemd/resolved.conf.d/90-mistgate.conf), иначе переписывает /etc/resolv.conf и сохраняет прежний файл как /etc/resolv.conf.mistgate.bak. |
Резолвер сервера |
| Проверить WARP / переподключить при сбое | Сразу заново прогоняет проверки WARP. Только если туннель не работает или эта проверка доводит его до порога сбоев, пересоздаёт текущий туннель и его маршруты с тем же аккаунтом; иначе ничего не меняет. Во время переподключения у профилей с выходом через WARP трафик может ненадолго прерваться. Если туннель успел восстановиться до применения, ничего не меняется. | Выход через WARP |
| Обновить службу | Запускает установленный бинарник во временной systemd-службе с фиксированным именем, записывает встроенный шаблон юнита, перечитывает конфигурацию systemd и перезапускает агента. Идентификатор и состояние ноды сохраняются; подключения могут прерваться на несколько секунд. | Поколение юнита; бэкенд AmneziaWG с подсказкой unit_outdated |
| Разрешить пересылку трафика Mistgate | Добавляет помеченные разрешающие правила в начало каждой цепочки FORWARD файрвола хоста с политикой DROP. Они пропускают только трафик, входящий через туннель mgawg* (новые соединения клиентов, кроме направленных в контейнерные мосты docker* и br-*), исходящий через mgawg* в рамках соединения, начатого клиентом (новые соединения к клиенту не пропускаются; клиентский трафик через WARP покрыт так же), и DNAT-потоки к текущим целям реле Mistgate в обе стороны. Остальной трафик по-прежнему фильтрует файрвол хоста. Агент восстанавливает правила во время периодической сверки после перезагрузки файрвола и удаляет их при выводе ноды из эксплуатации. |
Бэкенд AmneziaWG, когда файрвол отбрасывает пересылаемый трафик |
| Включить обновления безопасности | Запускает встроенную команду host enable-security-updates в отдельной временной root-службе systemd. Если unattended-upgrades не установлен, команда ставит его из имеющихся источников apt ноды, записывает только выключенные настройки APT::Periodic в /etc/apt/apt.conf.d/99mistgate-security-updates и снимает маску, включает и запускает таймеры apt-daily по их обычному расписанию (ежедневный запуск, пропущенный, пока они были выключены, не стартует сразу). Команда никогда не запускает apt-get upgrade или unattended-upgrade, не перезагружает сервер, не меняет Automatic-Reboot и не правит 50unattended-upgrades. Если другой apt держит блокировку, работа может занять до 20 минут. |
Обновления безопасности |
| Вернуться на модуль | Заново спрашивает ноду, загружен ли модуль AmneziaWG для запущенного ядра. Если да, профили AmneziaWG пересобираются на модуле, а подключённые устройства замирают примерно до 20 секунд; если нет, ничего не меняется и нода говорит сначала собрать модуль. Ничего не собирает и не устанавливает. | Бэкенд AmneziaWG при работе на запасном userspace |
Чтобы вручную отменить это исправление, удалите /etc/apt/apt.conf.d/99mistgate-security-updates. Для каждого таймера, который до исправления был выключен, выполните systemctl disable --now <timer> (apt-daily.timer или apt-daily-upgrade.timer). Если пакет поставило это исправление, удалите его командой apt-get remove unattended-upgrades. Журнал задачи (journalctl -u mistgate-security-updates) записывает сделанное.
Задача продолжает работать после «Применить»: перепроверка показывает Включаем автоматические обновления безопасности…, пока она идёт, а итог приходит со следующим плановым прогоном доктора (в пределах 10 минут) или по кнопке Проверить снова. Если задача не удалась, пункт говорит почему и снова предлагает исправление.
Начавшийся apt-get install не прерывается 20-минутным лимитом задачи; остановить его посередине может только собственный лимит службы в 30 минут или перезагрузка. Если так случилось, apt пишет «dpkg was interrupted»: выполните от root dpkg --configure -a, затем Проверить снова.
Исправление всегда идёт в два шага:
- Нажмите кнопку исправления у пункта доктора или в алерте. Панель спрашивает ноду, что она сделает («Спрашиваю у ноды, что она сделает…»); нода отвечает пробным прогоном, который ничего не меняет.
- Диалог показывает план: например, размер журнала до и после или какие профили перезапустятся и сколько подключений оборвётся. Применить выполняет ровно этот план.
План действует 10 минут, срабатывает один раз и привязан к ноде, исправлению и его параметрам. На одной ноде одновременно выполняется одно исправление. Оба шага пишутся в журнал аудита. После удачного исправления нода заново прогоняет затронутые проверки, и алерты, которые оно сняло, закрываются как «исправлено». При обновлении systemd-юнита результат применения доходит до панели до перезапуска; после подключения агент отправит новый отчёт. Применять исправления может только владелец.
Если исправление не удалось, диалог объясняет почему:
| Ошибка | Значение |
|---|---|
unknown_fix |
Агент этой ноды не знает такого исправления |
bad_params |
Нода отклонила параметры |
not_applicable |
Проблема уже ушла или хост этого не умеет |
unsupported_host |
Такой хост этого не поддерживает |
busy |
Нода занята другим исправлением |
У проверок без исправления пункт открывает блок Вручную с командами для ноды: включить синхронизацию времени, найти, кто держит порт, посмотреть правила файрвола, или совет перезагрузить сервер из панели хостера.
«Это нормально для этой ноды»#
Некоторые предупреждения — факты, с которыми вы согласны: собственные таблицы nftables у Docker, хост без работающего IPv6. Это нормально для этой ноды у пункта доктора или в его алерте перестаёт открывать алерт и считаться в значках. Пункт переезжает в группу Принято как нормальное и показывает, кто и когда его принял.
- Принять можно только предупреждение («Внимание»). Проблему — нельзя, предупреждение о сертификате — никогда.
- Принимается именно тот факт, который сообщила нода (её код детали). Принятие снимается само, когда нода сообщает по этой проверке другой факт или проверка становится проблемой. Предупреждения агента, слишком старого для кодов деталей, принять нельзя.
- Вернуть отменяет принятие.
- Алерт принятого предупреждения закрывается как «принято как нормальное».
Алерты#
Как алерты открываются и закрываются#
Алерт — функция текущего состояния. Каждые 10 секунд, а также после каждого круга проверок и каждого отчёта доктора панель выясняет, какие условия выполняются сейчас: для нового условия открывается алерт, алерт без условия закрывается. На один вид, ноду и предмет (профиль, проверку доктора) приходится один активный алерт. Поскольку ничего не зависит от запомненных событий, алерты переживают перезапуск панели.
Если панель не может оценить условие, алерт остаётся как есть, а не закрывается: у ноды не на связи сохраняются остальные алерты (для неё решается только «Нода недоступна»), устаревший отчёт доктора сохраняет алерты доктора, а результат проверки, сделанный до пропажи ноды, сохраняет алерты проверок.
Алерт, который срабатывает снова в течение часа после закрытия, открывается заново с прежним идентификатором и временем начала. Первые 90 секунд после запуска панели алерт «Нода недоступна» не открывается: агенты ещё переподключаются.
Виды алертов#
| Заголовок в админке | Вид | Важность | Когда открывается |
|---|---|---|---|
| Нода недоступна | node_down |
Критично | У агента нет связи 10 минут. Более короткий обрыв — событие, а не алерт. |
| Хостер моргнул | host_blip |
Инфо | Только для истории: пишется, когда связь вернулась в течение 10 минут без перезагрузки. Активным не бывает. |
| Панель потеряла связь с большинством нод | node_down (на весь флот) |
Критично | Одновременно не меньше 80% активных нод как минимум у трёх разных значений поля Хостер 10 минут без связи. Подозрение падает на собственное соединение панели: алерты «Нода недоступна» по нодам на паузе, вместо них один общий. |
| Нода то и дело пропадает | host_blip (мигание) |
Внимание | За последний час связь агента коротко пропадала или агент перезапускался вскоре после предыдущего запуска три раза и больше. Каждый обрыв короче, чем «Нода недоступна», но соединения на ноде каждый раз рвутся. |
| «<профиль>» не запустился на ноде | check_failed |
Внимание; Критично, если это единственный профиль этого протокола на ноде | Нода сообщила, что профиль не запустился, поэтому он никому не отвечает (и не попадает в подписки). Причина — на странице ноды. Профиль с выходом через WARP, пока WARP лежит, оставлен алерту WARP. |
| Жива, но трафик не идёт | no_traffic |
Критично | Агент на связи и профили работают, но каждый проверяемый профиль ноды провалил два круга подряд. Статус ноды становится «трафик не идёт». |
| «<профиль>» не проходит проверку глазами клиента | check_failed |
Внимание; Критично, если это единственный профиль этого протокола на ноде | Часть профилей (не все) ноды на связи провалила два круга подряд. |
| Потери UDP-пакетов на порту профиля | port_lossy |
Внимание | Последняя проверка обнаружила потери на текущем порту включённого профиля, с обоих отправителей, если второй их подтвердил (см. Порты). Закрывается после чистой перепроверки, смены порта, отключения или удаления профиля либо вывода ноды из эксплуатации. Не создаётся, если протокольная проверка панели для этого профиля прошла после UDP-проверки или не раньше чем за 15 минут до неё. |
| UDP с <ноды> до <цели> теряет пакеты | path_lossy |
Внимание | На отправителе: проверка портов другой ноды потеряла пакеты с этой ноды, а второй отправитель с другой стороны (СНГ или нет) их донёс. Потери на пути из этой ноды, а не на цели. Называет цель, порты, обоих отправителей и их регионы. Держится 30 часов после проверки или пока следующая проверка цели его не снимет. Если на потерянные порты не дошло ничего, а другие порты дошли целиком, он говорит о фильтре по пути (часто защита хостера цели от DDoS, пропускающая из датацентров только UDP 443): с целью всё в порядке, но проверки портов с этой ноды проходить не будут. |
| Агент ноды постоянно падает | agent_crash_loop |
Предупреждение | Агент перезапустился после нештатного завершения (убит, упал, не хватило памяти) три раза и больше за 30 минут. События agent_started несут prev_exit, crash, crash_loop и, если systemd или журнал это говорят, exit_code, exit_signal, exit_result, oom, systemd_restarts. Перезапуски после загрузки хоста или обновления не считаются. Закрывается сама, когда в окне остаётся меньше трёх аварийных перезапусков. |
| Задача по расписанию нашла проблему | scheduled_check |
Предупреждение | Запуск одной из задач по расписанию владельца нашёл проблему: выполнено условие проверки или так сказал вывод ассистента. В алерте название задачи и короткое описание. Закрывается сам, когда следующий запуск проходит чисто, или когда задачу выключают или удаляют. В Telegram уходит, только если это включено у задачи. VPS-версия. |
| Задача по расписанию не выполняется | scheduled_task_failing |
Предупреждение | Задача по расписанию не выполнилась три раза подряд (инструмент не ответил, провайдер не сработал, нет вывода), с последней причиной. Закрывается со следующим удачным запуском или когда задачу выключают или удаляют. В Telegram уходит, только если это включено у задачи. VPS-версия. |
| Нода недоступна из страны | country_blocked |
Внимание | Проверка из страны увидела blocked или tcp_blocked дважды подряд: два измерения (раунд Globalping, запуск ТСПУ-зонда, строка cheburcheck или bsbord), которые сами так говорят и продолжают так говорить в сложении со свежими строками остальных источников. Открыть его могут только Globalping, публичный cheburcheck и ТСПУ-зонд, которые смотрят на всю страну; свой зонд cheburcheck и bsbord видят её часть и поднимают только частичный алерт. Закрывается после двух измерений с ok или partial; строки unknown ничего не меняют. Тот же вид с темой partial (недоступна из части сетей, внимание) открывается, когда одна сеть, единица или проба была тёмной для ноды в двух последних наблюдениях, хотя до другой вашей ноды доставала, и закрывается, когда она снова видит эту; полная блокировка его вытесняет (подробнее). Если у каждого сервера ноды, который выдают людям, есть здоровое реле, полный алерт получает уровень Инфо и причину До ноды доходят через реле (параметр why=reached_through_relays) и в Telegram не отправляется. Заглушить можно, как любой другой алерт. |
| Ретрансляция <выход> через <вход> не работает | relay_down |
Внимание | Каждая включённая ретрансляция входит в круги проверок глазами клиента через проброшенный порт входа. Два неудачных круга подряд открывают алерт с этапом: leg (вход не достаёт выход), entry (проброс на входе не установлен), path (снаружи ничего не проходит) или freeze (передача зависает после первых килобайт). Он ждёт, пока открыт алерт проверки самого выхода или node_down любой из двух нод, и закрывается, когда ретрансляция снова работает. Открыть вход ведёт на вкладку Входы выходной ноды, на эту полосу (Ретрансляция). |
| Панель не достаёт до многих нод | check_failed (на весь флот) |
Внимание | Последний круг провалился хотя бы у 80% проверяемых профилей на нодах как минимум трёх разных значений поля Хостер. Подозрение падает на собственное соединение панели: алерты проверок по нодам на паузе, пока не пройдёт круг. Свежие сбои (серия из 1–3 неудачных кругов) на узлах у двух и более хостеров также открывают одно предупреждение для всего флота; новые тревоги по таким сбоям на отдельных нодах не открываются, уже открытые остаются без изменений, а сбои с серией из четырёх неудачных кругов (примерно 20 минут) оцениваются по каждому узлу отдельно. |
| Заголовок пункта доктора | doctor_warn / doctor_fail |
Внимание / Критично | Проверка доктора сообщает «Внимание» / «Проблема». Предупреждение «Заголовки ядра» на ноде без профиля AmneziaWG — Инфо. |
| Состояние ноды разошлось с панелью | state_drift |
Внимание | Конфигурация, которую применила нода, отличается от панельной даже после автоматической полной пересылки. |
| Сертификат скоро истечёт | cert_expiry |
Внимание; Критично, если осталось меньше 3 дней, срок истёк или сертификат не подходит к домену | По проверке сертификатов доктора. Для агента без доктора — по тому, что о сертификатах профилей знает сама панель (меньше 14 дней). |
| Обновление ноды остановилось | update_failed |
Внимание | Раскатка встала на паузу: нода не приняла обновление, не прошла проверку после обновления или панель после перезапуска потеряла нить шага. Закрывается, когда раскатку продолжают, отменяют или запускают новую. См. «Обновления». |
| Обновление ОС ноды остановилось | os_update_failed |
Внимание, Критично, если нода не вернулась | Обновление ОС, запущенное из панели (Обновление системы одного сервера), остановилось: нода отказалась от задания, задание не удалось, нода не стала перезагружаться, не вернулась за 15 минут после перезагрузки или не прошла проверку после неё. В алерте причина и код ноды. Пакеты откатить нельзя, поэтому обновление ждёт вас; алерт закрывается, когда вы нажимаете Закрыть в строке ноды. |
| Пользователь пытается подключиться после окончания доступа | access_ended |
Внимание | Пользователь с истёкшей подпиской или исчерпанной квотой запрашивал подписку в последние шесть часов. |
| У пользователя может быть проблема с подключением | user_connection |
Инфо | Устройство AWG ни разу не подключалось или получило устаревший ключ; либо активный пользователь запрашивает подписку, хотя трафика давно не было. |
| Приложению отказали: лимит устройств | device_limit |
Внимание | За последние 24 часа кому-то действительно отказали из-за лимита устройств: новому приложению в режиме Ограничивать или Строго либо при выпуске ключа. Один алерт на человека. Закрывается через 24 часа без отказов. В режиме Только считать никому не отказывают: события «достигнут лимит устройств» остаются только историей и алерт не открывают. В Telegram о нём говорится один раз, когда он открывается, а при закрытии сообщения нет. См. Подписки. |
| Пользователь пытается качать торренты | torrent |
Внимание | У пользователя есть хотя бы одно заблокированное событие torrent_attempt с признаком (evidence) за последние 24 часа. Один алерт на человека по всем нодам. Закрывается через 24 часа без попыток. В Telegram о нём говорится один раз, когда он открывается (при закрытии сообщения нет), то есть не чаще раза в сутки на человека. Попытки, которые нода не смогла отнести к пользователю, алерта не вызывают, как и события старых агентов, у которых нет признака. См. «Защиту от торрентов». |
| У части пользователей пропали подключения | users_impacted |
Внимание | После 20-й минуты часа пик не превышает четверти медианы за тот же час за семь дней, а обычный уровень — не меньше трёх пользователей. |
Эти алерты выводятся из активности пользователей и устройств и почасовых пиков, которые панель уже хранит. Алерты о человеке (access_ended, user_connection, device_limit, torrent) вы найдёте на вкладке Люди в разделе «Здоровье» и в блоке Подключение на странице пользователя, а не среди алертов о нодах; в счётчик алертов они не входят. users_impacted касается ноды и остаётся среди алертов о нодах.
Блок Подключение внизу страницы человека показывает и то, что ноды насчитали из его подключений за 24 часа, по устройствам и профилям, по шесть строк на странице: подключения, обрывы сразу после подключения, отклонённые ключи, незавершённые рукопожатия и время онлайн. Если устройства там нет, оно не дошло ни до одной ноды. Ноды, чей агент ещё не считает соединения, перечислены под списком. Только числа, никаких адресов; хранятся 7 дней (168 часов). То же доступно в MCP: user_connection и node_connections.
Причина в алерте о трафике называет вероятный диагноз:
| Диагноз | Когда |
|---|---|
| Закрыт UDP-порт | Профиль упирается в таймаут, а другой профиль этой ноды отвечает на другом порту, или вся нода упирается в таймаут на одном порту: похоже, хостер режет этот UDP-порт. |
| Закрыт весь UDP | Таймаут у всех профилей, на порту 443 или на двух портах и больше: похоже, хостер режет входящий UDP целиком. |
| Мёртв выход через WARP | Профиль с выходом через WARP не проходит, а прямой профиль того же протокола на ноде работает. |
| auth, tls, refused, нет выхода в интернет, ошибки тестовых сайтов | Код ошибки проверки, объяснённый простыми словами. |
| Разные причины | Каждый профиль не проходит, и каждый по-своему. |
Ещё два вида есть в API, но панель не открывает их как алерты: пользователь выбрал квоту (это видно в его статусе) и подписка похожа на общую (пишется событием «ссылкой подписки пользуются из N сетей за сутки»).
Важность и значки#
Алерты бывают Критично, Внимание и Инфо. Значок в шапке и на «Обзоре» считает активные алерты, кроме заглушённых и «Инфо». В списке активных сначала идут критичные, затем самые новые.
Чем закончился алерт#
Список История · 7 дней показывает, как закрылся каждый алерт:
| В админке | Код | Когда |
|---|---|---|
| прошло само | cleared |
Условие исчезло. |
| исправлено | fix_applied |
Алерт закрылся в течение 5 минут после исправления доктора, которое он предлагал. |
| нода выведена | node_retired |
Ноду вывели из флота. |
| вернулась сама | node_returned |
Недоступная нода вернулась. |
| заменён более крупным алертом | superseded |
Более крупный алерт говорит то же самое: «Жива, но трафик не идёт» заменяет алерты отдельных профилей, проблема доктора — предупреждение той же проверки, проблема доктора с WARP — алерт профиля через WARP, алерт на весь флот — алерты проверок по нодам. |
| принято как нормальное | accepted |
Владелец принял предупреждение доктора как нормальное для ноды. |
Закрытые алерты хранятся 90 дней. API отдаёт историю до 30 дней, не больше 200 алертов. В списке одна строка на событие: алерты одного вида, открывшиеся в одну минуту на нескольких нодах или портах, — одна строка с именами нод, по клику видна каждая. Строки сгруппированы по дням, то, как алерт закрылся, показано значком с подсказкой; видны последние 20 строк, остальные — по Показать ещё.
Кнопки в алерте#
Алерт свёрнут в одну строку: важность, нода, что не так, главное число (наибольшие потери, число сетей) и сколько он длится; клик раскрывает его. Критичные алерты открыты сразу. Алерты о потерях UDP и проверках одной ноды собраны в одну карточку с таблицей портов, профилей и потерь и одной кнопкой Заглушить на всех. Длинный список сетей читается короткой строкой, а все сети, сгруппированные по операторам, — по Показать все.
В карточке не больше одной главной кнопки, и только если это исправление. В зависимости от содержания карточка алерта предлагает:
- исправление доктора (только пока доктор его предлагает и нода на связи);
- Перезапустить профиль или Перезапустить профили — с числом подключений, которые оборвутся;
- Открыть профили ноды, где меняются порт и домен;
- карточку WARP ноды;
- Открыть ноду;
- Это нормально для этой ноды — для предупреждения доктора;
- Заглушить;
- Закрыть.
Заглушка#
Заглушить предлагает: «На 1 час», «До утра (08:00)», «На сутки», «На 7 дней». Самая долгая заглушка — 7 дней; Снять заглушку отменяет её.
- Заглушённые алерты свёрнуты в отдельный блок Заглушены после живых, у каждого подпись «до …». Их продолжают оценивать, и они закрываются сами.
- В значках он не считается.
- Если его важность растёт, заглушка снимается и алерт снова считается.
- Заглушка пишется в журнал аудита.
Закрытие#
Заглушить оставляет алерт в списке и лишь на время делает его тихим; Закрыть убирает его из списка. Закрытый алерт сразу считается решённым, в истории подписан «Закрыт администратором», сообщений не шлёт и пишется в журнал аудита. Он остаётся закрытым, пока длится та же проблема: панель продолжает видеть условие и не открывает алерт заново. Снова он откроется, только если проблема прекратилась больше чем на час и вернулась, или если стало хуже (важность выросла). После «Закрыть» во всплывающем сообщении есть Отменить, а Закрыть все показанные закрывает все алерты списка после подтверждения с числом; это удобно для уведомлений «ни разу не подключался» на вкладке «Люди». Права на закрытие те же, что на заглушку.
Алерты видны в админке (значок в шапке, «Обзор», страница «Здоровье») и через API и MCP. Ещё панель может присылать их в Telegram, когда они открываются и когда решаются: см. Алерты в Telegram. Заглушенный алерт и там молчит.
События на странице ноды#
Вкладка История → События ноды и лента событий на «Обзоре» хранят хронологию, которая отвечает на вопрос «что было ночью»:
| Событие | Когда пишется |
|---|---|
| перестала отвечать (с …) | Нода молчит 10 минут. |
| связь пропадала на … и вернулась сама | Нода вернулась после 1–10 минут тишины. |
| сервер перезагрузился (… без связи) | Нода вернулась с другим временем загрузки. |
| снова на связи после … | Нода вернулась после «перестала отвечать». |
| трафик перестал идти: X из Y профилей не проходят проверку | Открылся алерт «Жива, но трафик не идёт». |
| трафик снова идёт (…) | Он закрылся как «прошло само» или «исправлено», с длительностью. |
| «<профиль>» не проходит проверку глазами клиента | Открылся алерт проверки профиля. |
| «<профиль>» снова проходит проверку (…) | Он закрылся как «прошло само» или «исправлено». |
| Возможная попытка BitTorrent от пользователя … | Защита от торрентов на ноде заблокировала поток, который начал клиент и который она распознала как BitTorrent. Один SYN uTP не записывается: нужно не меньше пяти таких на трёх портах назначения от того же пользователя и профиля за 10 минут; остальные признаки записываются сразу. Строка под ним называет протокол, что поймала нода и порт назначения. Пользователь назван, только если туннельный адрес клиента принадлежит ровно одной учётке, иначе написано «неизвестный пользователь». Ни адрес клиента, ни адрес назначения не сохраняются, только порт. См. Защиту от торрентов. |
| обновлена до … / обновление не удалось / обновление откатилось | Закончился шаг раскатки. |
У нескольких предупреждений агента пока нет своей фразы, и они показываются кодом, а под ним — текст ошибки:
| Код | Когда пишется |
|---|---|
torrent_guard_degraded |
Защита от торрентов включена, но нода не смогла поднять очередь пакетов, которая проверяет трафик AmneziaWG (например, в сборке её нет). Тогда трафик AmneziaWG не проверяется; Hysteria2 проверяется внутри своего движка, и это его не касается. |
host_firewall_sync_failed |
Агенту не удалось привести в порядок правила UFW для UDP-портов серверов, ваше собственное правило UFW запрещает один из этих портов или активный firewalld их не открывает. Событие перечисляет UDP-порты и диапазоны прыжков, которые файрвол сервера должен пропускать. Когда всё снова работает, пишется host_firewall_sync_recovered. См. «Хостер режет UDP» в «Решении проблем». |
События важности «инфо» хранятся 90 дней, предупреждения и ошибки — 400 дней. Отдельные круги проверок хранятся 25 часов после того, как день сведён в итог; дневные итоги — 90 дней.
Кто что может#
| Действие | Владелец | Помощник | Только чтение |
|---|---|---|---|
| Смотреть алерты, проверки и отчёты доктора | да | да | да |
| Заглушить или закрыть алерт, «Проверить сейчас», «Проверить снова» | да | да | нет |
| «Это нормально для этой ноды», «Вернуть» | да | да | нет |
| Применить исправление доктора | да | нет | нет |
API-токен с профилем operator может глушить алерты, запускать проверки и доктора. Исправление доктора через токен возможно только через MCP, как план, который одобряет владелец (см. MCP).