mistgate Документация
RU
300

В админке: Здоровье

Здоровье

Как панель проверяет каждый профиль как настоящий клиент, что смотрит и что умеет исправлять доктор ноды и как алерты открываются, закрываются и глушатся.

На этой странице

Mistgate следит за флотом с двух сторон. Панель подключается к каждому профилю на каждой ноде так же, как приложение пользователя (проверки глазами клиента), а агент на каждой ноде проверяет собственный хост (доктор ноды). Из этого и из состояния нод складываются алерты. Всё собрано на странице Здоровье во вкладках Алерты, Проверки и Доктор; у страницы ноды есть своя вкладка Доктор, а на вкладке Обзор видны проверки этой ноды.

Проверки глазами клиента#

Как устроена проверка#

Для каждого профиля на ноде панель поднимает туннель встроенным клиентом и через него запрашивает две страницы (профиль MTProto — исключение: см. MTProto):

Запрос Что доказывает
https://www.gstatic.com/generate_204 Туннель пропускает трафик. Ответ должен быть 204. Затем панель запрашивает её ещё раз по тому же соединению; что значат времена, описано ниже.
https://www.cloudflare.com/cdn-cgi/trace Где трафик выходит в интернет: IP выхода и его страна.

Имена хостов разрешает нода, а не панель, поэтому сломанный резолвер на ноде тоже проваливает проверку.

Результат бывает трёх видов:

  • Успех: ответили обе страницы.
  • С ошибками: туннель работает, но одна из двух страниц не ответила. Число показывается цветом предупреждения. Такой результат сам по себе алерт не открывает.
  • Провал: туннель не поднялся или не ответила ни одна страница.

Клиент зависит от протокола:

  • Hysteria2. Официальный клиент Hysteria2 внутри панели. Он подключается к адресу ноды и к собственному порту профиля (не к диапазону прыжков по портам, поэтому закрытый диапазон прыжков проверка не увидит). Он использует обфускацию профиля (Salamander или Gecko) и правила сертификата, как настоящий клиент: самоподписанный сертификат сверяется с отпечатком, который сообщила нода, любой другой проверяется по полю Домен (SNI) профиля.
  • AmneziaWG. amneziawg-go внутри процесса панели на сетевом стеке в userspace: без сетевого интерфейса, без root, без изменений в маршрутах сервера панели. Конфигурация та же, что получает настоящее устройство. Каждый круг — новое устройство, так что каждый круг заодно проверяет рукопожатие. Нода не отвечает незнакомому пиру и пакету с чужой обфускацией, поэтому отсутствие рукопожатия и закрытый UDP-порт выглядят одинаково: оба случая — таймаут.
  • VLESS. Для каждой попытки панель запускает отдельный процесс-помощник с xray-core и использует те же рассчитанные параметры клиента, что и ссылка подписки. REALITY проверяет подлинность сервера, TLS — цепочку сертификатов для имени сервера профиля. При CDN-переопределении проверка подключается к хосту и порту CDN, используя этот хост для SNI и HTTP Host; без CDN она подключается к адресу ноды и порту входящего подключения. Проверка TLS остаётся включённой для сертификата CDN, поэтому панель не получает самоподписанный сертификат источника за CDN. Проверяются REALITY поверх TCP Vision или XHTTP и TLS поверх XHTTP или WebSocket. Сбой пути через CDN помечается как via_cdn с хостом CDN; такие входящие подключения не учитываются в критическом оповещении о сбое всех проверяемых подключений ноды. Fleet не отправляет входящее подключение агенту, пока подключённая нода не сообщит нужную возможность: vless/1 или vless-self/1 для REALITY, vless-tls/1 для TLS. Пока входящее подключение ожидает этой возможности, проверка клиента не запускается.
  • MTProto. Собственный клиент Fake TLS в панели, который вместо двух страниц спрашивает Telegram. См. MTProto.

Протокол без тестового клиента показывается как не проверяется.

Проверка идёт от скрытой служебной учётки на каждом профиле каждой ноды: она не принадлежит ни пользователю, ни устройству и никогда не появляется в списках пользователей, подписках, квотах и инструментах MCP. Для VLESS это обычная стабильная учётная запись с UUID. На профиле Hysteria2 нода ограничивает её скоростью 2 Мбит/с. На профиле AmneziaWG она занимает один адрес из клиентской сети профиля.

Важно

Проверки идут с сервера панели. Зелёная проверка доказывает, что клиент из сети панели проходит через ноду. Блокировки, которые есть только в сетях ваших пользователей, она не увидит.

Расписание#

Что Значение
Интервал для каждого профиля на ноде 5 минут. У каждого профиля своё постоянное смещение внутри интервала и разброс до 10 секунд, поэтому круги распределены равномерно. Настройки для интервала в админке нет.
Круг Одна попытка и, если она провалилась, повтор через 15 секунд. Итог круга — последняя попытка.
Ограничения по времени 8 секунд на рукопожатие, 10 секунд на каждую страницу, 25 секунд на всю попытку.
Пока профиль не проходит Круг каждые 60 секунд, чтобы быстро подтвердить проблему и быстро заметить восстановление.
Кругов одновременно 4.
Новый профиль Впервые проверяется в течение 30 секунд.
Проверить сейчас Запускает круг сразу для всего флота («Здоровье» → «Проверки») или для одной ноды (Проверить эту ноду сейчас). Не чаще одного круга на профиль в 30 секунд; более ранний клик ответит «Только что проверяли».

Как читать таблицу#

«Здоровье» → «Проверки» — таблица: строки — ноды, столбцы — профили. В ячейке время ответа в миллисекундах или состояние:

Ячейка Значение
123 мс Последний круг прошёл. Число — время ответа, медиана за последний час.
2,6 с с часами, под числом Подключение заняло 2 с или больше, медиана за последний час. Туннель работает, поэтому цвет остаётся спокойным.
✕ не проходит Профиль не проходит проверку.
✕ не запущен Нода не смогла запустить профиль.
выкл. Вы выключили профиль на этой ноде.
нет связи Нода не на связи.
не проверяется Для протокола у панели нет тестового клиента.
запуск Профиль запускается.
обн. Нода обновляет агента.
… Результата ещё нет: первый круг пройдёт в ближайшие минуты.
— Профиль не развёрнут на этой ноде.

Провалом считается только «не проходит». Остальные состояния — пропущенные круги: они не сохраняются и не влияют на счётчик неудач подряд.

Клик по ячейке открывает последние 24 часа в получасовых столбиках высотой по времени с нуля (красные — где круг провалился), IP выхода и Подряд с ошибкой. Алерт открывается после двух проваленных кругов подряд.

Если круг провалился, ячейка объясняет почему:

Код Что пишет админка
timeout Нет рукопожатия: UDP-трафик, скорее всего, не доходит
auth Нода отклонила проверочную учётку панели
tls Сертификат или домен не совпадает
refused Соединение отклонено: на порту никто не слушает
exit_unreachable Туннель работает, а выход ноды в интернет нет
http_status Тестовые сайты отвечают ошибкой

Что значат числа#

Все три числа замеряются на сервере панели, а не на устройстве человека.

Число Что это
Ответ Число в ячейке. Сразу после первого ответа панель ещё раз запрашивает generate_204 по тому же соединению: это время запроса через уже открытый туннель, его и чувствует человек. В ячейке медиана за последний час; пока её нет — последний круг, затем время с нуля.
Подключение От начала круга до первого соединения через туннель: рукопожатие Hysteria2 или AmneziaWG, у VLESS — TCP и REALITY или TLS. Медиана за последний час. От 2 с у ячейки появляется вторая строка с часами.
С нуля От начала круга до первого байта первого ответа: рукопожатие, новое TLS-соединение с тестовым сайтом через туннель и сам запрос. Это число показывают столбики за 24 часа. Раньше панель показывала его в ячейке.

Наведите курсор на ячейку или перейдите к ней клавишей Tab: подсказка покажет медианы ответа и подключения за час, последний круг с его временем, ответом и подключением, а также успешные и проваленные круги за 24 часа. На странице ноды то же показывают строки блока Проверки глазами клиента.

MTProto#

Прокси для Telegram — не общий туннель, поэтому его проверка спрашивает Telegram, а не две страницы выше. Каждая попытка со скрытым ключом проверки профиля:

  1. подключается по TCP к порту профиля на ноде;
  2. проходит рукопожатие Fake TLS с именем профиля, как это делает Telegram, и проверяет ответ ноды;
  3. открывает поток obfuscated2 к дата-центру Telegram 2 через прокси, отправляет первый запрос (req_pq_multi) и проверяет, что приходит корректный ответ resPQ.

Она доказывает, что нода принимает клиента с верным ключом, достаёт до Telegram и что Telegram отвечает через прокси. Ячейка показывает время всей попытки; IP выхода нет. Она не доказывает, что сеть внутри страны, которая блокирует MTProto, пропустит трафик. Сбои используют те же коды:

Код Что это значит для MTProto
refused TCP-соединение не удалось: на порту никто не слушает или мешает файрвол
timeout Один из шагов не ответил вовремя: соединение, рукопожатие Fake TLS или дата-центр Telegram
auth Нода не приняла ключ проверки и ответила своим запасным сайтом: профиль только что изменили, и нода ещё не применила изменение, или часы ноды неверны
tls Ответ на приветствие Fake TLS не был корректным ServerHello
exit_unreachable Прокси принял клиента, но дата-центр Telegram не ответил: нода не достаёт до адресов Telegram (фильтр хостера, маршрут)

Когда сервер панели теряет UDP#

Некоторые хостеры отбрасывают UDP пачками. Тогда проверка Hysteria2 или AmneziaWG с сервера панели платит за каждый потерянный пакет таймером повтора: секунду и больше у QUIC и у TCP внутри туннеля AmneziaWG, 5 с у рукопожатия WireGuard. Если эти проверки идут на секунду и больше дольше, чем VLESS до тех же нод, дело в сети панели, а не в нодах.

Проверка Hysteria2 ещё и считает потерянные пакеты в обе стороны. По дороге к ноде её собственный клиент QUIC считает, сколько пакетов он отправил и признал потерянными в каждом круге, рукопожатие тоже, и то же за последний час (MCP checks_results: udp_sent, udp_lost, udp_sent_hour, udp_lost_hour). Обратно считает нода: сколько она отправила проверке и потеряла, по служебному ключу проверки (node_sent_hour, node_lost_hour; ноды присылают их раз в 10 минут). Пакет, который был ещё в пути, когда QUIC выбросил ключи рукопожатия, потерянным не объявляется, так что потеря в самом первом обмене может не попасть в счёт.

Тогда панель пишет об этом над таблицей, называет ноды, долю медленных UDP-кругов и потери пакетов Hysteria2 по дороге к нодам и обратно. Сообщение появляется, когда за последний час:

  • у ноды не меньше 20 % кругов Hysteria2 и AmneziaWG (и не меньше трёх таких кругов) шли на 600 мс и больше дольше медианы кругов VLESS до той же ноды, от начала подключения до первого ответа;
  • у VLESS кругов, подключавшихся 2 с или дольше, меньше 5 % (иначе медленна вся сеть панели, а не только UDP);
  • нода без профиля VLESS считается, когда её UDP-круги подключались 2 с или дольше, и только вместе с ещё одной такой нодой.

Людей это не касается: они подключаются к нодам напрямую. Проверки при этом проходят, и алерт из-за этого не открывается. Если сообщение возвращается снова и снова, спросите хостера сервера панели, не фильтрует ли он UDP и нет ли лимитов, или перенесите панель на другой сервер.

Что значит «зелёный»#

Зелёная ячейка значит, что в последние минуты клиент из сети панели завершил рукопожатие с этим профилем на этой ноде и через выход ноды открыл два известных сайта. Она не доказывает, что работает диапазон прыжков по портам, что сети ваших пользователей пропускают трафик и что каждое приложение справляется с профилем.

Проверка из страны#

Открываются ли ноды изнутри страны (по умолчанию России), проверяют Globalping, списки блокировок, ТСПУ-зонд, cheburcheck и bsbord, и для этого в админке есть отдельный раздел, Доступность: см. Доступность. Здесь Здоровье → Проверки показывает вердикт последней колонкой Из России, а страница ноды строкой.

Доктор ноды#

Агент каждой ноды прогоняет 21 проверку своего хоста. Они только читают: файлы в /proc и /sys, несколько файлов конфигурации и команды, которые ничего не меняют (systemctl list-*, nft list, timedatectl show, dmesg, journalctl -k). Любое изменение — отдельный подтверждаемый шаг (см. «Исправления» ниже).

Когда он работает#

  • Примерно через 30 секунд после подключения агента, затем каждые 10 минут (с разбросом до минуты).
  • Проверить снова на «Здоровье» → «Доктор» или на вкладке Доктор ноды просит ноду прогнать проверки сейчас и ждёт отчёт до 30 секунд.
  • У каждой проверки 10 секунд, у всего прогона 30 секунд. Проверка, которая зависла или не может работать на этом хосте (контейнер, нет systemd, не root), получает статус Пропущено с причиной. Ложного «Ок» не бывает.
  • Отчёт старше 25 минут считается устаревшим: админка показывает его серым и пишет, сколько ему. У ноды не на связи показан её последний отчёт, а исправления недоступны, пока она не вернётся.
  • Про агента, который появился раньше доктора, админка пишет «слишком старый для доктора». Обновите его на странице «Обновления».

У каждого пункта одно из четырёх состояний: Ок, Внимание (предупреждение), Проблема и Пропущено.

Проверки#

Проверка Что смотрит Внимание Проблема Исправление
Место на диске (disk_space) Занятое место и inodes на / и на томе каталога состояния агента, считая как df. Занято 80% или свободно меньше 1 ГБ Занято 92%, свободно меньше 300 МБ или занято 95% inodes Сжать журнал, если журнал не меньше 300 МБ
Размер журнала systemd (journald_size) Сколько журнал systemd занимает на диске. Базовая настройка ограничивает его 200 МБ. Больше 300 МБ (лимит не работает) Больше 1 ГБ Сжать журнал
Зависшие процессы (dstate_tasks) Процессы в непрерываемом ожидании в трёх замерах с интервалом 2 секунды, ошибки QXL/TTM в журнале ядра и нагрузка, равная числу ядер, когда процессор 10 минут простаивает. Есть зависший процесс Зависание два прогона подряд, зависание QXL/TTM или нагрузка при простое Нет: перезагрузите сервер из панели хостера
Часы (time_sync) Расхождение с часами панели и синхронизация NTP. Расхождение больше 2 секунд или NTP не синхронизирован Расхождение больше 30 секунд Нет: включите NTP (timedatectl set-ntp true)
Резолвер сервера (resolver) Отвечает ли собственный резолвер хоста для www.cloudflare.com, www.gstatic.com и www.google.com, а на нодах в России ещё для gosuslugi.ru, в Китае — для www.baidu.com. 3 секунды на имя, один повтор. Одно имя не разрешается или медиана ответа больше 500 мс Не разрешаются два имени и больше или домен страны ноды Исправить резолвер, только если рекомендованные резолверы ответили в том же прогоне
IPv6 (ipv6) Глобальный IPv6-адрес и исходящее IPv6-соединение с двумя публичными резолверами на порт 443. Адрес IPv6 есть, а исходящие соединения не проходят (у клиентов, получивших AAAA-записи, сайты подвисают) Нет Нет
Следы других VPN (foreign_vpn) Службы systemd x-ui, Xray, remnanode, hysteria-server и wg-quick@, контейнеры Docker с VPN-образами, интерфейсы wg* и awg*, которые не принадлежат Mistgate, запущенные процессы xray, x-ui и sing-box. Что-то из этого найдено Что-то из этого занимает порт профиля Нет: удалять или нет, решаете вы
Чужие правила файрвола (foreign_nft) Таблицы nftables, которые не принадлежат Mistgate. Старые правила iptables эта проверка не видит. В чужой таблице есть хук nat Чужое правило перенаправляет, подменяет или отбрасывает порт или диапазон прыжков профиля Нет
Занятые порты (port_conflicts) Слушающие сокеты на портах профилей, их диапазонах прыжков и на TCP-порту HTTPS-заглушки и ACME профиля Hysteria2. Чужой слушатель в диапазоне прыжков, чужой процесс на TCP-порту или профиль, который не смог занять порт, а сейчас порт свободен Чужой процесс держит порт профиля Перезапустить профиль, только для профиля, который не смог занять порт
Базовая настройка сети (net_baseline) fq как qdisc по умолчанию, алгоритм перегрузки BBR, UDP-буферы net.core.rmem_max и net.core.wmem_max не ниже 16 МиБ, файл sysctl и дополнение к journald от Mistgate. Новые UDP-сокеты ретрансляции получают не менее 1 МиБ из net.core.rmem_default и net.core.wmem_default; суммарную память UDP по-прежнему ограничивает net.ipv4.udp_mem. Таблица conntrack получает не менее 65 536 записей и 16 384 корзин хеширования; заданные вами более высокие значения сохраняются. Что-то отличается (заполненную таблицу conntrack оценивает conntrack_fill) Нет Вернуть базовые настройки, если они отличаются
Сертификаты (cert_expiry) Сертификат, который на деле отдаёт каждый профиль с TLS, совпадает ли он с доменом, и собственный сертификат агента для связи с панелью. У сертификата профиля меньше 14 дней, у сертификата агента меньше 5 дней Меньше 3 дней, истёк или не подходит к домену; у сертификата агента меньше суток Перезапустить профиль, только для самоподписанного сертификата
Память (memory_pressure) Доступная память, своп, давление на память (PSI) и убийства по OOM в журнале ядра за сутки. Доступно меньше 12%, своп занят больше чем на 50% под давлением или было убийство по OOM Доступно меньше 5%, сильное давление или OOM убил агента или движок VPN Нет
CPU softirq (cpu_softirq) Средняя доля softirq и общая загрузка процессора за 10 минут. Пропускается, пока не набрано 30 замеров. softirq 50% и больше softirq 90% и больше или процессор 97% и больше Нет
CPU steal (cpu_steal) Средняя доля процессорного времени, которую гипервизор отдал другим виртуалкам на том же хосте, за те же 10 минут. Пропускается, пока не набрано 30 замеров. 10% и больше 25% и больше Нет: попросите провайдера перенести сервер или перенесите ноду
Таблица соединений (conntrack_fill) Записи таблицы отслеживания соединений ядра против nf_conntrack_max и отброшенные пакеты, если ядро их считает. Полная таблица отбрасывает каждое новое соединение. Пропускается, если conntrack не загружен. Заполнена на 80% Заполнена на 95% Нет: поднимите net.netfilter.nf_conntrack_max или переведите людей
Открытые файлы агента (agent_fds) Открытые файловые дескрипторы агента (каждое соединение — один из них) против его мягкого лимита; служба разрешает 65 536. 80% лимита 95% лимита Нет: запустите агента как службу или переведите людей
Заголовки ядра (kernel_headers) Заголовки ядра, dkms, make и gcc для модуля ядра AmneziaWG. Пропускается без профиля AmneziaWG; пока AmneziaWG работает в userspace, это просто факт. Запрошен режим ядра, модуль не работает, а инструментов не хватает Нет Нет: см. AmneziaWG
Бэкенд AmneziaWG (awg_backend) Чем работает AmneziaWG: модулем ядра или в userspace. Пропускается без профиля AmneziaWG. Файрвол хоста отбрасывает пересылаемый трафик (часто из-за Docker); режим ядра работает на запасном userspace, потому что модуль не загружается Нет рабочего бэкенда: нет /dev/net/tun, устаревший служебный файл или нет модуля в режиме ядра «Обновить службу», если unit_outdated и агент предлагает это исправление; «Вернуться на модуль» при работе на запасном userspace
Выход через WARP (warp_path) Туннель WARP ноды и его маршруты. Пропускается, если у ноды нет аккаунта WARP и ни один профиль не выходит через WARP. WARP на паузе, а профили выходят через него, или туннель поднят, но его последняя проверка не прошла Профили выходят через WARP, а аккаунта у ноды нет; на хосте таблица маршрутов, приоритет правила или имя интерфейса WARP заняты; нет бэкенда WireGuard; WARP не работает Проверить WARP / переподключить при сбое, если туннель не работает или его последняя проверка не прошла
Поколение юнита (unit_generation) Совпадает ли systemd-юнит агента с этой сборкой. Пропускается, если агент запущен вручную. Юнит старее этой сборки Нет Обновить службу; агент перезапустится, подключения могут прерваться на несколько секунд
Обновления безопасности (security_updates) На Debian и Ubuntu проверяет пакет unattended-upgrades, действующие настройки APT::Periodic и что оба таймера apt-daily включены и запущены. Проверка только читает. В Debian стандартный шаблон источников пакета может включать и обновления стабильного выпуска. Пакет не установлен или настройка/таймер выключены Нет Включить обновления безопасности, после подтверждения владельца (предлагается, когда агент работает от root под systemd; иначе доктор показывает команду для ручного запуска)

Нода без IPv6 с WARP — это нормально: WARP ходит через свой IPv4-адрес, и админка показывает пункт IPv6 как «Ок».

Предупреждение или проблема открывают алерт (см. «Виды алертов» ниже). Исключение — проверка сертификатов: она открывает алерт «Сертификат скоро истечёт», а не алерт доктора.

Исправления#

Исправлений ровно восемь. Они встроены в агента: панель присылает только идентификатор исправления, а агент проверяет параметры (профиль должен быть одним из тех, что работают на ноде). Только enable_security_updates может поставить пакет, и для него нужно подтверждение владельца. Исправления не удаляют данные.

Кнопка Что делает Где предлагается
Сжать журнал journalctl --vacuum-size=200M --vacuum-time=7d Размер журнала systemd, Место на диске
Вернуть базовые настройки Заново записывает файл sysctl от Mistgate (/etc/sysctl.d/90-mistgate.conf: fq, BBR и UDP-буферы не ниже 16 МиБ) и дополнение к journald (/etc/systemd/journald.conf.d/90-mistgate.conf: лимит 200 МБ), а также защиту SSH (ограничение частоты новых SSH-подключений с одного адреса). Базовая настройка сети
Перезапустить профиль Перезапускает один профиль на ноде или все профили, которые не запустились. Подключения через профиль обрываются на пару секунд и восстанавливаются сами. Занятые порты, Сертификаты (самоподписанные)
Исправить резолвер Направляет резолвер хоста на DNS-серверы этой ноды с вкладки Выход ноды, а если там выбран резолвер самого сервера — на резолверы по умолчанию для страны ноды: Яндекс DNS (77.88.8.8, 77.88.8.1) в России, AliDNS и DNSPod (223.5.5.5, 119.29.29.29) в Китае, 1.1.1.1 и 8.8.8.8 в остальных странах. При systemd-resolved пишет дополнение (/etc/systemd/resolved.conf.d/90-mistgate.conf), иначе переписывает /etc/resolv.conf и сохраняет прежний файл как /etc/resolv.conf.mistgate.bak. Резолвер сервера
Проверить WARP / переподключить при сбое Сразу заново прогоняет проверки WARP. Только если туннель не работает или эта проверка доводит его до порога сбоев, пересоздаёт текущий туннель и его маршруты с тем же аккаунтом; иначе ничего не меняет. Во время переподключения у профилей с выходом через WARP трафик может ненадолго прерваться. Если туннель успел восстановиться до применения, ничего не меняется. Выход через WARP
Обновить службу Запускает установленный бинарник во временной systemd-службе с фиксированным именем, записывает встроенный шаблон юнита, перечитывает конфигурацию systemd и перезапускает агента. Идентификатор и состояние ноды сохраняются; подключения могут прерваться на несколько секунд. Поколение юнита; бэкенд AmneziaWG с подсказкой unit_outdated
Разрешить пересылку трафика Mistgate Добавляет помеченные разрешающие правила в начало каждой цепочки FORWARD файрвола хоста с политикой DROP. Они пропускают только трафик, входящий через туннель mgawg* (новые соединения клиентов, кроме направленных в контейнерные мосты docker* и br-*), исходящий через mgawg* в рамках соединения, начатого клиентом (новые соединения к клиенту не пропускаются; клиентский трафик через WARP покрыт так же), и DNAT-потоки к текущим целям реле Mistgate в обе стороны. Остальной трафик по-прежнему фильтрует файрвол хоста. Агент восстанавливает правила во время периодической сверки после перезагрузки файрвола и удаляет их при выводе ноды из эксплуатации. Бэкенд AmneziaWG, когда файрвол отбрасывает пересылаемый трафик
Включить обновления безопасности Запускает встроенную команду host enable-security-updates в отдельной временной root-службе systemd. Если unattended-upgrades не установлен, команда ставит его из имеющихся источников apt ноды, записывает только выключенные настройки APT::Periodic в /etc/apt/apt.conf.d/99mistgate-security-updates и снимает маску, включает и запускает таймеры apt-daily по их обычному расписанию (ежедневный запуск, пропущенный, пока они были выключены, не стартует сразу). Команда никогда не запускает apt-get upgrade или unattended-upgrade, не перезагружает сервер, не меняет Automatic-Reboot и не правит 50unattended-upgrades. Если другой apt держит блокировку, работа может занять до 20 минут. Обновления безопасности
Вернуться на модуль Заново спрашивает ноду, загружен ли модуль AmneziaWG для запущенного ядра. Если да, профили AmneziaWG пересобираются на модуле, а подключённые устройства замирают примерно до 20 секунд; если нет, ничего не меняется и нода говорит сначала собрать модуль. Ничего не собирает и не устанавливает. Бэкенд AmneziaWG при работе на запасном userspace

Чтобы вручную отменить это исправление, удалите /etc/apt/apt.conf.d/99mistgate-security-updates. Для каждого таймера, который до исправления был выключен, выполните systemctl disable --now <timer> (apt-daily.timer или apt-daily-upgrade.timer). Если пакет поставило это исправление, удалите его командой apt-get remove unattended-upgrades. Журнал задачи (journalctl -u mistgate-security-updates) записывает сделанное.

Задача продолжает работать после «Применить»: перепроверка показывает Включаем автоматические обновления безопасности…, пока она идёт, а итог приходит со следующим плановым прогоном доктора (в пределах 10 минут) или по кнопке Проверить снова. Если задача не удалась, пункт говорит почему и снова предлагает исправление.

Начавшийся apt-get install не прерывается 20-минутным лимитом задачи; остановить его посередине может только собственный лимит службы в 30 минут или перезагрузка. Если так случилось, apt пишет «dpkg was interrupted»: выполните от root dpkg --configure -a, затем Проверить снова.

Исправление всегда идёт в два шага:

  1. Нажмите кнопку исправления у пункта доктора или в алерте. Панель спрашивает ноду, что она сделает («Спрашиваю у ноды, что она сделает…»); нода отвечает пробным прогоном, который ничего не меняет.
  2. Диалог показывает план: например, размер журнала до и после или какие профили перезапустятся и сколько подключений оборвётся. Применить выполняет ровно этот план.

План действует 10 минут, срабатывает один раз и привязан к ноде, исправлению и его параметрам. На одной ноде одновременно выполняется одно исправление. Оба шага пишутся в журнал аудита. После удачного исправления нода заново прогоняет затронутые проверки, и алерты, которые оно сняло, закрываются как «исправлено». При обновлении systemd-юнита результат применения доходит до панели до перезапуска; после подключения агент отправит новый отчёт. Применять исправления может только владелец.

Если исправление не удалось, диалог объясняет почему:

Ошибка Значение
unknown_fix Агент этой ноды не знает такого исправления
bad_params Нода отклонила параметры
not_applicable Проблема уже ушла или хост этого не умеет
unsupported_host Такой хост этого не поддерживает
busy Нода занята другим исправлением

У проверок без исправления пункт открывает блок Вручную с командами для ноды: включить синхронизацию времени, найти, кто держит порт, посмотреть правила файрвола, или совет перезагрузить сервер из панели хостера.

«Это нормально для этой ноды»#

Некоторые предупреждения — факты, с которыми вы согласны: собственные таблицы nftables у Docker, хост без работающего IPv6. Это нормально для этой ноды у пункта доктора или в его алерте перестаёт открывать алерт и считаться в значках. Пункт переезжает в группу Принято как нормальное и показывает, кто и когда его принял.

  • Принять можно только предупреждение («Внимание»). Проблему — нельзя, предупреждение о сертификате — никогда.
  • Принимается именно тот факт, который сообщила нода (её код детали). Принятие снимается само, когда нода сообщает по этой проверке другой факт или проверка становится проблемой. Предупреждения агента, слишком старого для кодов деталей, принять нельзя.
  • Вернуть отменяет принятие.
  • Алерт принятого предупреждения закрывается как «принято как нормальное».

Алерты#

Как алерты открываются и закрываются#

Алерт — функция текущего состояния. Каждые 10 секунд, а также после каждого круга проверок и каждого отчёта доктора панель выясняет, какие условия выполняются сейчас: для нового условия открывается алерт, алерт без условия закрывается. На один вид, ноду и предмет (профиль, проверку доктора) приходится один активный алерт. Поскольку ничего не зависит от запомненных событий, алерты переживают перезапуск панели.

Если панель не может оценить условие, алерт остаётся как есть, а не закрывается: у ноды не на связи сохраняются остальные алерты (для неё решается только «Нода недоступна»), устаревший отчёт доктора сохраняет алерты доктора, а результат проверки, сделанный до пропажи ноды, сохраняет алерты проверок.

Алерт, который срабатывает снова в течение часа после закрытия, открывается заново с прежним идентификатором и временем начала. Первые 90 секунд после запуска панели алерт «Нода недоступна» не открывается: агенты ещё переподключаются.

Алерт открывается, пока выполняется его условие, и считается в значке. Заглушка убирает его из значка до 7 дней, после неё он возвращается. Алерт закрывается, когда условия больше нет, заглушён он или нет, открывается снова, если условие вернулось в течение часа, и хранится в истории 90 дней. Активен в значке Заглушён до 7 дней Закрыт хранится 90 дней условие выполняется условия больше нет вернулся в течение часа Заглушить заглушка кончилась условия больше нет

Виды алертов#

Заголовок в админке Вид Важность Когда открывается
Нода недоступна node_down Критично У агента нет связи 10 минут. Более короткий обрыв — событие, а не алерт.
Хостер моргнул host_blip Инфо Только для истории: пишется, когда связь вернулась в течение 10 минут без перезагрузки. Активным не бывает.
Панель потеряла связь с большинством нод node_down (на весь флот) Критично Одновременно не меньше 80% активных нод как минимум у трёх разных значений поля Хостер 10 минут без связи. Подозрение падает на собственное соединение панели: алерты «Нода недоступна» по нодам на паузе, вместо них один общий.
Нода то и дело пропадает host_blip (мигание) Внимание За последний час связь агента коротко пропадала или агент перезапускался вскоре после предыдущего запуска три раза и больше. Каждый обрыв короче, чем «Нода недоступна», но соединения на ноде каждый раз рвутся.
«<профиль>» не запустился на ноде check_failed Внимание; Критично, если это единственный профиль этого протокола на ноде Нода сообщила, что профиль не запустился, поэтому он никому не отвечает (и не попадает в подписки). Причина — на странице ноды. Профиль с выходом через WARP, пока WARP лежит, оставлен алерту WARP.
Жива, но трафик не идёт no_traffic Критично Агент на связи и профили работают, но каждый проверяемый профиль ноды провалил два круга подряд. Статус ноды становится «трафик не идёт».
«<профиль>» не проходит проверку глазами клиента check_failed Внимание; Критично, если это единственный профиль этого протокола на ноде Часть профилей (не все) ноды на связи провалила два круга подряд.
Потери UDP-пакетов на порту профиля port_lossy Внимание Последняя проверка обнаружила потери на текущем порту включённого профиля, с обоих отправителей, если второй их подтвердил (см. Порты). Закрывается после чистой перепроверки, смены порта, отключения или удаления профиля либо вывода ноды из эксплуатации. Не создаётся, если протокольная проверка панели для этого профиля прошла после UDP-проверки или не раньше чем за 15 минут до неё.
UDP с <ноды> до <цели> теряет пакеты path_lossy Внимание На отправителе: проверка портов другой ноды потеряла пакеты с этой ноды, а второй отправитель с другой стороны (СНГ или нет) их донёс. Потери на пути из этой ноды, а не на цели. Называет цель, порты, обоих отправителей и их регионы. Держится 30 часов после проверки или пока следующая проверка цели его не снимет. Если на потерянные порты не дошло ничего, а другие порты дошли целиком, он говорит о фильтре по пути (часто защита хостера цели от DDoS, пропускающая из датацентров только UDP 443): с целью всё в порядке, но проверки портов с этой ноды проходить не будут.
Агент ноды постоянно падает agent_crash_loop Предупреждение Агент перезапустился после нештатного завершения (убит, упал, не хватило памяти) три раза и больше за 30 минут. События agent_started несут prev_exit, crash, crash_loop и, если systemd или журнал это говорят, exit_code, exit_signal, exit_result, oom, systemd_restarts. Перезапуски после загрузки хоста или обновления не считаются. Закрывается сама, когда в окне остаётся меньше трёх аварийных перезапусков.
Задача по расписанию нашла проблему scheduled_check Предупреждение Запуск одной из задач по расписанию владельца нашёл проблему: выполнено условие проверки или так сказал вывод ассистента. В алерте название задачи и короткое описание. Закрывается сам, когда следующий запуск проходит чисто, или когда задачу выключают или удаляют. В Telegram уходит, только если это включено у задачи. VPS-версия.
Задача по расписанию не выполняется scheduled_task_failing Предупреждение Задача по расписанию не выполнилась три раза подряд (инструмент не ответил, провайдер не сработал, нет вывода), с последней причиной. Закрывается со следующим удачным запуском или когда задачу выключают или удаляют. В Telegram уходит, только если это включено у задачи. VPS-версия.
Нода недоступна из страны country_blocked Внимание Проверка из страны увидела blocked или tcp_blocked дважды подряд: два измерения (раунд Globalping, запуск ТСПУ-зонда, строка cheburcheck или bsbord), которые сами так говорят и продолжают так говорить в сложении со свежими строками остальных источников. Открыть его могут только Globalping, публичный cheburcheck и ТСПУ-зонд, которые смотрят на всю страну; свой зонд cheburcheck и bsbord видят её часть и поднимают только частичный алерт. Закрывается после двух измерений с ok или partial; строки unknown ничего не меняют. Тот же вид с темой partial (недоступна из части сетей, внимание) открывается, когда одна сеть, единица или проба была тёмной для ноды в двух последних наблюдениях, хотя до другой вашей ноды доставала, и закрывается, когда она снова видит эту; полная блокировка его вытесняет (подробнее). Если у каждого сервера ноды, который выдают людям, есть здоровое реле, полный алерт получает уровень Инфо и причину До ноды доходят через реле (параметр why=reached_through_relays) и в Telegram не отправляется. Заглушить можно, как любой другой алерт.
Ретрансляция <выход> через <вход> не работает relay_down Внимание Каждая включённая ретрансляция входит в круги проверок глазами клиента через проброшенный порт входа. Два неудачных круга подряд открывают алерт с этапом: leg (вход не достаёт выход), entry (проброс на входе не установлен), path (снаружи ничего не проходит) или freeze (передача зависает после первых килобайт). Он ждёт, пока открыт алерт проверки самого выхода или node_down любой из двух нод, и закрывается, когда ретрансляция снова работает. Открыть вход ведёт на вкладку Входы выходной ноды, на эту полосу (Ретрансляция).
Панель не достаёт до многих нод check_failed (на весь флот) Внимание Последний круг провалился хотя бы у 80% проверяемых профилей на нодах как минимум трёх разных значений поля Хостер. Подозрение падает на собственное соединение панели: алерты проверок по нодам на паузе, пока не пройдёт круг. Свежие сбои (серия из 1–3 неудачных кругов) на узлах у двух и более хостеров также открывают одно предупреждение для всего флота; новые тревоги по таким сбоям на отдельных нодах не открываются, уже открытые остаются без изменений, а сбои с серией из четырёх неудачных кругов (примерно 20 минут) оцениваются по каждому узлу отдельно.
Заголовок пункта доктора doctor_warn / doctor_fail Внимание / Критично Проверка доктора сообщает «Внимание» / «Проблема». Предупреждение «Заголовки ядра» на ноде без профиля AmneziaWG — Инфо.
Состояние ноды разошлось с панелью state_drift Внимание Конфигурация, которую применила нода, отличается от панельной даже после автоматической полной пересылки.
Сертификат скоро истечёт cert_expiry Внимание; Критично, если осталось меньше 3 дней, срок истёк или сертификат не подходит к домену По проверке сертификатов доктора. Для агента без доктора — по тому, что о сертификатах профилей знает сама панель (меньше 14 дней).
Обновление ноды остановилось update_failed Внимание Раскатка встала на паузу: нода не приняла обновление, не прошла проверку после обновления или панель после перезапуска потеряла нить шага. Закрывается, когда раскатку продолжают, отменяют или запускают новую. См. «Обновления».
Обновление ОС ноды остановилось os_update_failed Внимание, Критично, если нода не вернулась Обновление ОС, запущенное из панели (Обновление системы одного сервера), остановилось: нода отказалась от задания, задание не удалось, нода не стала перезагружаться, не вернулась за 15 минут после перезагрузки или не прошла проверку после неё. В алерте причина и код ноды. Пакеты откатить нельзя, поэтому обновление ждёт вас; алерт закрывается, когда вы нажимаете Закрыть в строке ноды.
Пользователь пытается подключиться после окончания доступа access_ended Внимание Пользователь с истёкшей подпиской или исчерпанной квотой запрашивал подписку в последние шесть часов.
У пользователя может быть проблема с подключением user_connection Инфо Устройство AWG ни разу не подключалось или получило устаревший ключ; либо активный пользователь запрашивает подписку, хотя трафика давно не было.
Приложению отказали: лимит устройств device_limit Внимание За последние 24 часа кому-то действительно отказали из-за лимита устройств: новому приложению в режиме Ограничивать или Строго либо при выпуске ключа. Один алерт на человека. Закрывается через 24 часа без отказов. В режиме Только считать никому не отказывают: события «достигнут лимит устройств» остаются только историей и алерт не открывают. В Telegram о нём говорится один раз, когда он открывается, а при закрытии сообщения нет. См. Подписки.
Пользователь пытается качать торренты torrent Внимание У пользователя есть хотя бы одно заблокированное событие torrent_attempt с признаком (evidence) за последние 24 часа. Один алерт на человека по всем нодам. Закрывается через 24 часа без попыток. В Telegram о нём говорится один раз, когда он открывается (при закрытии сообщения нет), то есть не чаще раза в сутки на человека. Попытки, которые нода не смогла отнести к пользователю, алерта не вызывают, как и события старых агентов, у которых нет признака. См. «Защиту от торрентов».
У части пользователей пропали подключения users_impacted Внимание После 20-й минуты часа пик не превышает четверти медианы за тот же час за семь дней, а обычный уровень — не меньше трёх пользователей.

Эти алерты выводятся из активности пользователей и устройств и почасовых пиков, которые панель уже хранит. Алерты о человеке (access_ended, user_connection, device_limit, torrent) вы найдёте на вкладке Люди в разделе «Здоровье» и в блоке Подключение на странице пользователя, а не среди алертов о нодах; в счётчик алертов они не входят. users_impacted касается ноды и остаётся среди алертов о нодах.

Блок Подключение внизу страницы человека показывает и то, что ноды насчитали из его подключений за 24 часа, по устройствам и профилям, по шесть строк на странице: подключения, обрывы сразу после подключения, отклонённые ключи, незавершённые рукопожатия и время онлайн. Если устройства там нет, оно не дошло ни до одной ноды. Ноды, чей агент ещё не считает соединения, перечислены под списком. Только числа, никаких адресов; хранятся 7 дней (168 часов). То же доступно в MCP: user_connection и node_connections.

Причина в алерте о трафике называет вероятный диагноз:

Диагноз Когда
Закрыт UDP-порт Профиль упирается в таймаут, а другой профиль этой ноды отвечает на другом порту, или вся нода упирается в таймаут на одном порту: похоже, хостер режет этот UDP-порт.
Закрыт весь UDP Таймаут у всех профилей, на порту 443 или на двух портах и больше: похоже, хостер режет входящий UDP целиком.
Мёртв выход через WARP Профиль с выходом через WARP не проходит, а прямой профиль того же протокола на ноде работает.
auth, tls, refused, нет выхода в интернет, ошибки тестовых сайтов Код ошибки проверки, объяснённый простыми словами.
Разные причины Каждый профиль не проходит, и каждый по-своему.

Ещё два вида есть в API, но панель не открывает их как алерты: пользователь выбрал квоту (это видно в его статусе) и подписка похожа на общую (пишется событием «ссылкой подписки пользуются из N сетей за сутки»).

Важность и значки#

Алерты бывают Критично, Внимание и Инфо. Значок в шапке и на «Обзоре» считает активные алерты, кроме заглушённых и «Инфо». В списке активных сначала идут критичные, затем самые новые.

Чем закончился алерт#

Список История · 7 дней показывает, как закрылся каждый алерт:

В админке Код Когда
прошло само cleared Условие исчезло.
исправлено fix_applied Алерт закрылся в течение 5 минут после исправления доктора, которое он предлагал.
нода выведена node_retired Ноду вывели из флота.
вернулась сама node_returned Недоступная нода вернулась.
заменён более крупным алертом superseded Более крупный алерт говорит то же самое: «Жива, но трафик не идёт» заменяет алерты отдельных профилей, проблема доктора — предупреждение той же проверки, проблема доктора с WARP — алерт профиля через WARP, алерт на весь флот — алерты проверок по нодам.
принято как нормальное accepted Владелец принял предупреждение доктора как нормальное для ноды.

Закрытые алерты хранятся 90 дней. API отдаёт историю до 30 дней, не больше 200 алертов. В списке одна строка на событие: алерты одного вида, открывшиеся в одну минуту на нескольких нодах или портах, — одна строка с именами нод, по клику видна каждая. Строки сгруппированы по дням, то, как алерт закрылся, показано значком с подсказкой; видны последние 20 строк, остальные — по Показать ещё.

Кнопки в алерте#

Алерт свёрнут в одну строку: важность, нода, что не так, главное число (наибольшие потери, число сетей) и сколько он длится; клик раскрывает его. Критичные алерты открыты сразу. Алерты о потерях UDP и проверках одной ноды собраны в одну карточку с таблицей портов, профилей и потерь и одной кнопкой Заглушить на всех. Длинный список сетей читается короткой строкой, а все сети, сгруппированные по операторам, — по Показать все.

В карточке не больше одной главной кнопки, и только если это исправление. В зависимости от содержания карточка алерта предлагает:

  • исправление доктора (только пока доктор его предлагает и нода на связи);
  • Перезапустить профиль или Перезапустить профили — с числом подключений, которые оборвутся;
  • Открыть профили ноды, где меняются порт и домен;
  • карточку WARP ноды;
  • Открыть ноду;
  • Это нормально для этой ноды — для предупреждения доктора;
  • Заглушить;
  • Закрыть.

Заглушка#

Заглушить предлагает: «На 1 час», «До утра (08:00)», «На сутки», «На 7 дней». Самая долгая заглушка — 7 дней; Снять заглушку отменяет её.

  • Заглушённые алерты свёрнуты в отдельный блок Заглушены после живых, у каждого подпись «до …». Их продолжают оценивать, и они закрываются сами.
  • В значках он не считается.
  • Если его важность растёт, заглушка снимается и алерт снова считается.
  • Заглушка пишется в журнал аудита.

Закрытие#

Заглушить оставляет алерт в списке и лишь на время делает его тихим; Закрыть убирает его из списка. Закрытый алерт сразу считается решённым, в истории подписан «Закрыт администратором», сообщений не шлёт и пишется в журнал аудита. Он остаётся закрытым, пока длится та же проблема: панель продолжает видеть условие и не открывает алерт заново. Снова он откроется, только если проблема прекратилась больше чем на час и вернулась, или если стало хуже (важность выросла). После «Закрыть» во всплывающем сообщении есть Отменить, а Закрыть все показанные закрывает все алерты списка после подтверждения с числом; это удобно для уведомлений «ни разу не подключался» на вкладке «Люди». Права на закрытие те же, что на заглушку.

Важно

Алерты видны в админке (значок в шапке, «Обзор», страница «Здоровье») и через API и MCP. Ещё панель может присылать их в Telegram, когда они открываются и когда решаются: см. Алерты в Telegram. Заглушенный алерт и там молчит.

События на странице ноды#

Вкладка История → События ноды и лента событий на «Обзоре» хранят хронологию, которая отвечает на вопрос «что было ночью»:

Событие Когда пишется
перестала отвечать (с …) Нода молчит 10 минут.
связь пропадала на … и вернулась сама Нода вернулась после 1–10 минут тишины.
сервер перезагрузился (… без связи) Нода вернулась с другим временем загрузки.
снова на связи после … Нода вернулась после «перестала отвечать».
трафик перестал идти: X из Y профилей не проходят проверку Открылся алерт «Жива, но трафик не идёт».
трафик снова идёт (…) Он закрылся как «прошло само» или «исправлено», с длительностью.
«<профиль>» не проходит проверку глазами клиента Открылся алерт проверки профиля.
«<профиль>» снова проходит проверку (…) Он закрылся как «прошло само» или «исправлено».
Возможная попытка BitTorrent от пользователя … Защита от торрентов на ноде заблокировала поток, который начал клиент и который она распознала как BitTorrent. Один SYN uTP не записывается: нужно не меньше пяти таких на трёх портах назначения от того же пользователя и профиля за 10 минут; остальные признаки записываются сразу. Строка под ним называет протокол, что поймала нода и порт назначения. Пользователь назван, только если туннельный адрес клиента принадлежит ровно одной учётке, иначе написано «неизвестный пользователь». Ни адрес клиента, ни адрес назначения не сохраняются, только порт. См. Защиту от торрентов.
обновлена до … / обновление не удалось / обновление откатилось Закончился шаг раскатки.

У нескольких предупреждений агента пока нет своей фразы, и они показываются кодом, а под ним — текст ошибки:

Код Когда пишется
torrent_guard_degraded Защита от торрентов включена, но нода не смогла поднять очередь пакетов, которая проверяет трафик AmneziaWG (например, в сборке её нет). Тогда трафик AmneziaWG не проверяется; Hysteria2 проверяется внутри своего движка, и это его не касается.
host_firewall_sync_failed Агенту не удалось привести в порядок правила UFW для UDP-портов серверов, ваше собственное правило UFW запрещает один из этих портов или активный firewalld их не открывает. Событие перечисляет UDP-порты и диапазоны прыжков, которые файрвол сервера должен пропускать. Когда всё снова работает, пишется host_firewall_sync_recovered. См. «Хостер режет UDP» в «Решении проблем».

События важности «инфо» хранятся 90 дней, предупреждения и ошибки — 400 дней. Отдельные круги проверок хранятся 25 часов после того, как день сведён в итог; дневные итоги — 90 дней.

Кто что может#

Действие Владелец Помощник Только чтение
Смотреть алерты, проверки и отчёты доктора да да да
Заглушить или закрыть алерт, «Проверить сейчас», «Проверить снова» да да нет
«Это нормально для этой ноды», «Вернуть» да да нет
Применить исправление доктора да нет нет

API-токен с профилем operator может глушить алерты, запускать проверки и доктора. Исправление доктора через токен возможно только через MCP, как план, который одобряет владелец (см. MCP).

Править страницу на GitHub