Cloud-Native & SRE · Maps 04–13 devops track →

Карта 12: Шаблоны SRE — Blameless Postmortem и Расчет SLO / Error Budget

~624 words Source: roadmaps/guides/12_Postmortem_and_SLO_Templates.md view source

1. Калькулятор SLO и Error Budget (Таблица доступности)

Уровень SLOДопустимый простой в годДопустимый простой в месяц (30 дней)Допустимый простой в неделю
99.0% (Две девятки)3 дня 15 часов7 часов 18 минут1 час 40 минут
99.5%1 день 19 часов3 часа 39 минут50 минут
99.9% (Три девятки)8 часов 45 минут43 минуты 49 секунд10 минут 4 секунды
99.95%4 часа 22 минуты21 минута 54 секунды5 минут 2 секунды
99.99% (Четыре девятки)52 минуты 35 секунд4 минуты 23 секунды1 минута

Формула Error Budget для трафика:

Если наш целевой SLO = 99.9% успешных запросов за 30 дней, а сервис обрабатывает 100 000 000 запросов в месяц, то наш бюджет ошибок:

  • Error Budget = 100 000 000 * (1 - 0.999) = 100 000 ошибок (5xx).
  • Пока мы сожгли меньше 100 000 ошибок за месяц — продуктовая команда может смело выкатывать рискованные релизы. Если бюджет выгорел — фичи замораживаются, ресурсы бросаются на техдолг и стабильность.

2. Готовый шаблон Blameless Postmortem (Отчет об инциденте)

Правило SRE: В постмортеме никогда не указываются имена людей как причина сбоя («Иван запустил скрипт без флага»). Если человек смог сломать прод одной командой — виновата система, в которой не было автоматических предохранителей (CI-валидации, лимитов, Canary-отката).
# Postmortem: [INC-2026-042] Деградация API оформления заказов (502/504 ошибки)

- **Дата:** 28 октября 2026
- **Длительность:** 22 минуты (14:10 — 14:32 UTC)
- **Влияние на бизнес (Impact):** 18% запросов к `/api/orders` завершились ошибкой 504. Сожжено 34% месячного Error Budget.
- **Статус:** Завершен (Action Items в работе)

## 1. Краткое резюме (Executive Summary)
Во время раскатки релиза `v1.4.2` была добавлена новая колонка в таблицу `orders` без использования `CONCURRENTLY`. Миграция взяла эксклюзивную блокировку (`ACCESS EXCLUSIVE LOCK`) на таблицу, заблокировав все входящие `INSERT`/`SELECT` запросы от бэкенда. Это привело к исчерпанию пула соединений и ответам 504 на балансировщике.

## 2. Хронология событий (Timeline — UTC)
- **14:08** — Пайплайн GitLab CI запустил `PreSync` хук миграции БД в ArgoCD для релиза `v1.4.2`.
- **14:10** — Сработал алерт `HighRequestLatencyP99` и `PostgresBlockedQueries` в Telegram.
- **14:12** — Дежурный SRE подключился к инциденту, обнаружил очередь локов в `pg_stat_activity`.
- **14:18** — Выявлен блокирующий PID миграции, удерживающий таблицу `orders` в ожидании завершения длинного аналитического отчета.
- **14:25** — Принято решение убить процесс миграции через `pg_terminate_backend()`.
- **14:26** — Очередь запросов рассосалась, метрики p99 и RPS вернулись в норму.
- **14:32** — Инцидент официально закрыт.

## 3. Корневая причина (Root Cause Analysis — 5 Whys)
1. **Почему упало API?** Запросы зависли в ожидании таблицы `orders` в PostgreSQL.
2. **Почему таблица была заблокирована?** DDL-миграция взяла `ACCESS EXCLUSIVE` лок и встала в очередь за долгим `SELECT`-запросом.
3. **Почему миграция ждала бесконечно?** В сессии мигратора не был задан параметр `lock_timeout`.
4. **Почему опасная миграция попала в прод?** В CI-пайплайне отсутствовал линтер SQL-миграций.
5. **Почему аналитический запрос шел на мастер-базу?** Сервис отчетов ходил в Primary-узел вместо выделенной Read-реплики.

## 4. Что сработало хорошо
- Алерт по метрикам RED и блокировкам БД прилетел в течение 90 секунд после начала деградации.
- Наличие готового SQL-скрипта поиска блокировок в Runbook (`10_Database_and_Stateful_Runbooks.md`) сократило время диагностики до 5 минут.

## 5. План действий (Action Items)
- [ ] **[P0]** Добавить обязательный `SET lock_timeout = '3s';` и `SET statement_timeout = '10s';` во все скрипты миграций (Срок: 30.10.2026).
- [ ] **[P1]** Внедрить линтер опасных DDL-операций (`squawk`) в CI-пайплайн (Срок: 05.11.2026).
- [ ] **[P1]** Переключить сервис аналитики на чтение с Standby-реплики PostgreSQL (Срок: 07.11.2026).