Cloud-Native & SRE · Maps 04–13 devops track →

Карта 09: Боевые Плейбуки Разбора Инцидентов (Troubleshooting Runbooks)

~577 words Source: roadmaps/guides/09_Incident_Troubleshooting_Playbooks.md view source

Пошаговые инструкции: куда смотреть и что вводить в первые 5 минут аварии на продакшене.


Сценарий 1: Под в Kubernetes в статусе CrashLoopBackOff

CrashLoopBackOff — это не сама ошибка, а цикл ожидания перед перезапуском падающего контейнера.

Алгоритм диагностики:

  1. Проверить код завершения (Exit Code) и причину остановки:
   kubectl describe pod <pod-name> -n <namespace>

Смотрим секцию Last State: Terminated:

  • Exit Code: 1 / 2 — ошибка внутри приложения (паника, невалидный конфиг, нет коннекта к БД при старте).
  • Exit Code: 137 — процесс убит по SIGKILL (128 + 9). Либо это OOMKilled (нехватило памяти), либо не прошла livenessProbe.
  • Exit Code: 143 — процесс штатно завершился по SIGTERM (128 + 15).
  • Exit Code: 127 / 126 — не найден бинарник в ENTRYPOINT или у него нет прав на исполнение (chmod +x).
  1. Посмотреть логи предыдущего (упавшего) инстанса контейнера:
   kubectl logs <pod-name> -n <namespace> --previous
  1. Если в логах пусто, а контейнер падает мгновенно:
  2. Запустить под с переопределением команды на sleep 3600 или подключиться через kubectl debug и запустить бинарник руками внутри окружения.


Сценарий 2: Ошибки 502 Bad Gateway / 504 Gateway Timeout на Ingress / Nginx

  • 502 Bad Gateway — балансировщик не смог установить соединение с бэкендом или соединение было грубо оборвано (Connection reset by peer).
  • 504 Gateway Timeout — соединение установлено, но бэкенд не ответил за отведенный proxy_read_timeout.

Алгоритм диагностики:

  1. Проверить живы ли поды и есть ли они в Endpoints сервиса:
   kubectl get endpoints <service-name> -n <namespace>

Если список пустой — ни один под не прошел readinessProbe или не совпали лейблы в selector сервиса.

  1. Проверить причину 502 во время раскатки релиза (Zero-Downtime проблема):
  2. Когда под удаляется, kube-proxy / Ingress Controller обновляет правила маршрутизации асинхронно (с задержкой 1–2 секунды). Если приложение завершается мгновенно при получении SIGTERM, летящие на него запросы получат 502.

  • Фикс: добавить в манифест пода lifecycle.preStop.exec.command: ["/bin/sh", "-c", "sleep 5"], чтобы под продолжал обслуживать трафик еще 5 секунд, пока балансировщики выводят его из ротации.
  1. Для 504 ошибки: проверить метрики БД (блокировки таблиц, долгие запросы в pg_stat_activity) или внешние API, от которых синхронно зависит эндпоинт.

Сценарий 3: Потеря пакетов и таймауты на нагруженном Linux-узле (nf_conntrack: table full)

При резком всплеске соединений (DDoS или тысячи короткоживущих коннектов без Keep-Alive) сервер перестает открывать новые соединения.

Алгоритм диагностики:

  1. Проверить системный лог ядра:
   dmesg -T | tail -n 50
   # Видим: nf_conntrack: table full, dropping packet
  1. Сравнить текущее число записей с лимитом:
   sysctl net.netfilter.nf_conntrack_count
   sysctl net.netfilter.nf_conntrack_max
  1. Экстренное решение (на лету):
  2. Увеличить размер таблицы и уменьшить таймаут хранения закрытых соединений:

   sysctl -w net.netfilter.nf_conntrack_max=524288
   sysctl -w net.netfilter.nf_conntrack_tcp_timeout_time_wait=30
  1. Долгосрочное решение: включить HTTP Keep-Alive между балансировщиком и апстримами, использовать пулы соединений, перевести кластер на CNI Cilium в режиме eBPF host-routing.

Сценарий 4: Зависание деплоя на статусе ImagePullBackOff или Pending

  1. Если под висит в Pending:
   kubectl describe pod <pod-name>

Смотрим Events от default-scheduler:

  • 0/5 nodes are available: 3 Insufficient cpu, 2 node(s) had untolerated taint — не хватает ресурсов на воркерах или не настроен автоскейлер узлов (Karpenter).
  • pod has unbound immediate PersistentVolumeClaims — не создался диск (ошибка в CSI-драйвере или в указанной зоне доступности нет свободных томов).
  1. Если под висит в ImagePullBackOff:
  • Опечатка в теге образа, отсутствует imagePullSecrets для приватного регистри, либо сработал Rate Limit на Docker Hub (нужно настроить Pull Through Cache в своем регистри).