Cloud-Native & SRE · Maps 04–13Cloud-Native и SRE · мапы 04–13
devops track →
Карта 12: Шаблоны SRE — Blameless Postmortem и Расчет SLO / Error Budget
1. Калькулятор SLO и Error Budget (Таблица доступности)
| Уровень SLO | Допустимый простой в год | Допустимый простой в месяц (30 дней) | Допустимый простой в неделю |
|---|---|---|---|
| 99.0% (Две девятки) | 3 дня 15 часов | 7 часов 18 минут | 1 час 40 минут |
| 99.5% | 1 день 19 часов | 3 часа 39 минут | 50 минут |
| 99.9% (Три девятки) | 8 часов 45 минут | 43 минуты 49 секунд | 10 минут 4 секунды |
| 99.95% | 4 часа 22 минуты | 21 минута 54 секунды | 5 минут 2 секунды |
| 99.99% (Четыре девятки) | 52 минуты 35 секунд | 4 минуты 23 секунды | 1 минута |
Формула Error Budget для трафика:
Если наш целевой SLO = 99.9% успешных запросов за 30 дней, а сервис обрабатывает 100 000 000 запросов в месяц, то наш бюджет ошибок:
Error Budget = 100 000 000 * (1 - 0.999) = 100 000 ошибок (5xx).- Пока мы сожгли меньше 100 000 ошибок за месяц — продуктовая команда может смело выкатывать рискованные релизы. Если бюджет выгорел — фичи замораживаются, ресурсы бросаются на техдолг и стабильность.
2. Готовый шаблон Blameless Postmortem (Отчет об инциденте)
Правило SRE: В постмортеме никогда не указываются имена людей как причина сбоя («Иван запустил скрипт без флага»). Если человек смог сломать прод одной командой — виновата система, в которой не было автоматических предохранителей (CI-валидации, лимитов, Canary-отката).
# Postmortem: [INC-2026-042] Деградация API оформления заказов (502/504 ошибки)
- **Дата:** 28 октября 2026
- **Длительность:** 22 минуты (14:10 — 14:32 UTC)
- **Влияние на бизнес (Impact):** 18% запросов к `/api/orders` завершились ошибкой 504. Сожжено 34% месячного Error Budget.
- **Статус:** Завершен (Action Items в работе)
## 1. Краткое резюме (Executive Summary)
Во время раскатки релиза `v1.4.2` была добавлена новая колонка в таблицу `orders` без использования `CONCURRENTLY`. Миграция взяла эксклюзивную блокировку (`ACCESS EXCLUSIVE LOCK`) на таблицу, заблокировав все входящие `INSERT`/`SELECT` запросы от бэкенда. Это привело к исчерпанию пула соединений и ответам 504 на балансировщике.
## 2. Хронология событий (Timeline — UTC)
- **14:08** — Пайплайн GitLab CI запустил `PreSync` хук миграции БД в ArgoCD для релиза `v1.4.2`.
- **14:10** — Сработал алерт `HighRequestLatencyP99` и `PostgresBlockedQueries` в Telegram.
- **14:12** — Дежурный SRE подключился к инциденту, обнаружил очередь локов в `pg_stat_activity`.
- **14:18** — Выявлен блокирующий PID миграции, удерживающий таблицу `orders` в ожидании завершения длинного аналитического отчета.
- **14:25** — Принято решение убить процесс миграции через `pg_terminate_backend()`.
- **14:26** — Очередь запросов рассосалась, метрики p99 и RPS вернулись в норму.
- **14:32** — Инцидент официально закрыт.
## 3. Корневая причина (Root Cause Analysis — 5 Whys)
1. **Почему упало API?** Запросы зависли в ожидании таблицы `orders` в PostgreSQL.
2. **Почему таблица была заблокирована?** DDL-миграция взяла `ACCESS EXCLUSIVE` лок и встала в очередь за долгим `SELECT`-запросом.
3. **Почему миграция ждала бесконечно?** В сессии мигратора не был задан параметр `lock_timeout`.
4. **Почему опасная миграция попала в прод?** В CI-пайплайне отсутствовал линтер SQL-миграций.
5. **Почему аналитический запрос шел на мастер-базу?** Сервис отчетов ходил в Primary-узел вместо выделенной Read-реплики.
## 4. Что сработало хорошо
- Алерт по метрикам RED и блокировкам БД прилетел в течение 90 секунд после начала деградации.
- Наличие готового SQL-скрипта поиска блокировок в Runbook (`10_Database_and_Stateful_Runbooks.md`) сократило время диагностики до 5 минут.
## 5. План действий (Action Items)
- [ ] **[P0]** Добавить обязательный `SET lock_timeout = '3s';` и `SET statement_timeout = '10s';` во все скрипты миграций (Срок: 30.10.2026).
- [ ] **[P1]** Внедрить линтер опасных DDL-операций (`squawk`) в CI-пайплайн (Срок: 05.11.2026).
- [ ] **[P1]** Переключить сервис аналитики на чтение с Standby-реплики PostgreSQL (Срок: 07.11.2026).