Principal & AI-Infra · Maps 14–20Principal и AI-Infra · мапы 14–20
devops track →
Карта 20: Практический Тренажер Траблшутинга (Chaos Drill Lab)
Теория без практики быстро забывается. В папке troubleshooting_lab/ этого архива лежит боевой манифест break-my-cluster.yaml, который разворачивает в твоем локальном кластере (Minikube / Kind / k3s) неймспейс chaos-drill с 4 реалистичными поломками, которые постоянно встречаются на продакшене и технических собеседованиях.
Как запустить полигон:
kubectl apply -f troubleshooting_lab/break-my-cluster.yaml
kubectl get pods,svc,netpol -n chaos-drillЗадания лабы (Попробуй найти и починить сам, прежде чем читать разбор ниже!)
- Кейс 1 (
broken-readonly-app): Под постоянно падает вCrashLoopBackOff. Приложение пытается записать PID-файл при старте, но что-то ему мешает. - Кейс 2 (
oom-and-probe-trap): Под запускается, но каждые 15 секунд убивается сExit Code: 137. Тут сразу две закладки — одна по памяти, вторая в пробе! - Кейс 3 (
phantom-service): Подhealthy-backendзеленый (Running,1/1 Ready), но при попытке обратиться к егоService(curl http://healthy-backend-svc.chaos-drill.svc:8080) соединение мгновенно сбрасывается. - Кейс 4 (
blackhole-netpol): Даже после починкиServiceиз Кейса 3 трафик от тестового пода не проходит из-за сетевой изоляции.
Спойлер: Разбор и ключи к починке (Инженерные ответы)
<details> <summary>Нажми, чтобы открыть разбор всех 4 поломок</summary>
Разбор Кейса 1 (broken-readonly-app):
- Диагностика:
kubectl logs -n chaos-drill deploy/broken-readonly-appпокажетcan't create /var/run/app.pid: Read-only file system. - Причина: В контейнере включен харденинг
readOnlyRootFilesystem: true, но не примонтированemptyDirтом для временной директории/var/run. - Починка: Добавить
volumes: [{name: run-tmp, emptyDir: {}}]иvolumeMounts: [{name: run-tmp, mountPath: /var/run}].
Разбор Кейса 2 (oom-and-probe-trap):
- Диагностика:
kubectl describe pod -n chaos-drill -l app=oom-trapпокажетLiveness probe failed: HTTP probe failed with statuscode: 404илиOOMKilled. - Причина: Во-первых,
livenessProbeстучится на несуществующий порт9999вместо80. Во-вторых, лимит памяти стоит нереалистично низкий (8Mi). - Починка: Повысить
resources.limits.memoryдо64Miи исправить порт вlivenessProbeна80.
Разбор Кейса 3 (phantom-service):
- Диагностика:
kubectl get endpoints healthy-backend-svc -n chaos-drillпокажет<none>. - Причина: В деплойменте у подов стоит лейбл
app: healthy-backend, а вServiceв полеselectorнаписаноapp: healthy-backEnd-typo(опечатка в регистре), аtargetPortуказан8080вместо80. - Починка: Выровнять
selector: app: healthy-backendиtargetPort: 80.
Разбор Кейса 4 (blackhole-netpol):
- Диагностика: В неймспейсе висит
NetworkPolicylockdown-all, которая блокирует весь Ingress-трафик, но не добавляет разрешающего правила дляhealthy-backend. - Починка: Добавить правило
ingressвNetworkPolicy, разрешающее порт80.
</details>