Карта 09: Боевые Плейбуки Разбора Инцидентов (Troubleshooting Runbooks)
Пошаговые инструкции: куда смотреть и что вводить в первые 5 минут аварии на продакшене.
Сценарий 1: Под в Kubernetes в статусе CrashLoopBackOff
CrashLoopBackOff — это не сама ошибка, а цикл ожидания перед перезапуском падающего контейнера.
Алгоритм диагностики:
- Проверить код завершения (Exit Code) и причину остановки:
kubectl describe pod <pod-name> -n <namespace>Смотрим секцию Last State: Terminated:
Exit Code: 1/2— ошибка внутри приложения (паника, невалидный конфиг, нет коннекта к БД при старте).Exit Code: 137— процесс убит поSIGKILL(128 + 9). Либо этоOOMKilled(нехватило памяти), либо не прошлаlivenessProbe.Exit Code: 143— процесс штатно завершился поSIGTERM(128 + 15).Exit Code: 127/126— не найден бинарник вENTRYPOINTили у него нет прав на исполнение (chmod +x).
- Посмотреть логи предыдущего (упавшего) инстанса контейнера:
kubectl logs <pod-name> -n <namespace> --previous- Если в логах пусто, а контейнер падает мгновенно:
Запустить под с переопределением команды на sleep 3600 или подключиться через kubectl debug и запустить бинарник руками внутри окружения.
Сценарий 2: Ошибки 502 Bad Gateway / 504 Gateway Timeout на Ingress / Nginx
502 Bad Gateway— балансировщик не смог установить соединение с бэкендом или соединение было грубо оборвано (Connection reset by peer).504 Gateway Timeout— соединение установлено, но бэкенд не ответил за отведенныйproxy_read_timeout.
Алгоритм диагностики:
- Проверить живы ли поды и есть ли они в Endpoints сервиса:
kubectl get endpoints <service-name> -n <namespace>Если список пустой — ни один под не прошел readinessProbe или не совпали лейблы в selector сервиса.
- Проверить причину 502 во время раскатки релиза (Zero-Downtime проблема):
Когда под удаляется, kube-proxy / Ingress Controller обновляет правила маршрутизации асинхронно (с задержкой 1–2 секунды). Если приложение завершается мгновенно при получении SIGTERM, летящие на него запросы получат 502.
- Фикс: добавить в манифест пода
lifecycle.preStop.exec.command: ["/bin/sh", "-c", "sleep 5"], чтобы под продолжал обслуживать трафик еще 5 секунд, пока балансировщики выводят его из ротации.
- Для 504 ошибки: проверить метрики БД (блокировки таблиц, долгие запросы в
pg_stat_activity) или внешние API, от которых синхронно зависит эндпоинт.
Сценарий 3: Потеря пакетов и таймауты на нагруженном Linux-узле (nf_conntrack: table full)
При резком всплеске соединений (DDoS или тысячи короткоживущих коннектов без Keep-Alive) сервер перестает открывать новые соединения.
Алгоритм диагностики:
- Проверить системный лог ядра:
dmesg -T | tail -n 50
# Видим: nf_conntrack: table full, dropping packet- Сравнить текущее число записей с лимитом:
sysctl net.netfilter.nf_conntrack_count
sysctl net.netfilter.nf_conntrack_max- Экстренное решение (на лету):
Увеличить размер таблицы и уменьшить таймаут хранения закрытых соединений:
sysctl -w net.netfilter.nf_conntrack_max=524288
sysctl -w net.netfilter.nf_conntrack_tcp_timeout_time_wait=30- Долгосрочное решение: включить
HTTP Keep-Aliveмежду балансировщиком и апстримами, использовать пулы соединений, перевести кластер на CNI Cilium в режиме eBPF host-routing.
Сценарий 4: Зависание деплоя на статусе ImagePullBackOff или Pending
- Если под висит в
Pending:
kubectl describe pod <pod-name>Смотрим Events от default-scheduler:
0/5 nodes are available: 3 Insufficient cpu, 2 node(s) had untolerated taint— не хватает ресурсов на воркерах или не настроен автоскейлер узлов (Karpenter).pod has unbound immediate PersistentVolumeClaims— не создался диск (ошибка в CSI-драйвере или в указанной зоне доступности нет свободных томов).
- Если под висит в
ImagePullBackOff:
- Опечатка в теге образа, отсутствует
imagePullSecretsдля приватного регистри, либо сработал Rate Limit на Docker Hub (нужно настроить Pull Through Cache в своем регистри).