observability-sre-highload
Implements full-stack Observability (VictoriaMetrics, Loki, Vector, OpenTelemetry, Beyla eBPF, Pyroscope), SRE SLI/SLO/Error Budgets, and Highload Stateful clusters (CloudNativePG, Kafka KRaft Strimzi, ClickHouse Keeper). Use for resilient high-throughput production systems.
Observability, SRE & Highload Stateful Infrastructure
Unified metrics, logs, traces, and eBPF FlameGraphs paired with SLO burn-rate alerts and HA PostgreSQL, Kafka KRaft, and ClickHouse.
Quick Start
# Deploy OpenTelemetry + Pyroscope eBPF profiler, HA CloudNativePG, and Kafka KRaft
kubectl apply -f labs/nextgen_2027_pack/otel-collector-and-pyroscope.yaml
kubectl apply -f labs/baremetal_and_ha_db_pack/cloudnativepg-ha-cluster.yaml
kubectl apply -f labs/baremetal_and_ha_db_pack/kafka-kraft-strimzi.yaml# Multi-window RED 5xx error percentage over 5 minutes
sum(rate(http_requests_total{job="backend-api",status=~"5.."}[5m]))
/
sum(rate(http_requests_total{job="backend-api"}[5m])) * 100When to Use
- Building a unified observability stack correlating Prometheus/VictoriaMetrics, Loki/Vector JSON logs, Tempo traces, and Pyroscope eBPF profiles
- Instrumenting legacy or polyglot services without code changes using Grafana Beyla eBPF auto-instrumentation
- Defining SLIs, SLOs (99.9% / 99.95%), Error Budget burn-rate alerts, and Blameless Postmortems
- Operating HA PostgreSQL (CloudNativePG + PgBouncer + WAL-G), ZooKeeper-less Apache Kafka (KRaft on Strimzi), and ClickHouse clusters
Best Practices
- Never put high-cardinality fields (user_id, email, request_id, IP) into Prometheus or Loki labels; keep them inside structured JSON log fields.
- Include trace_id and span_id in every JSON log line so engineers jump directly from a Loki log entry to a Tempo trace and Pyroscope FlameGraph.
- Alert on symptoms and SLO Error Budget burn rates rather than noisy single-node CPU spikes.
- Deploy CloudNativePG with at least 3 instances spread across availability zones, transaction-mode PgBouncer, and continuous WAL archiving to S3.
- Run Apache Kafka strictly in KRaft mode (no ZooKeeper) with dedicated controller and broker KafkaNodePools and S3 Tiered Storage.
- Use lightweight C++ ClickHouse Keeper instead of ZooKeeper for ReplicatedMergeTree coordination in ClickHouse clusters.
Dependencies
# Install VictoriaMetrics, Loki, OpenTelemetry Operator, and CloudNativePG Helm charts
helm repo add cnpg https://cloudnative-pg.github.io/charts
helm repo add open-telemetry https://open-telemetry.github.io/opentelemetry-helm-chartsExamples
# Compute monthly SLO downtime budget in minutes and allowed 5xx error count
def calc_error_budget(slo_percent: float, monthly_requests: int) -> dict:
error_fraction = (100.0 - slo_percent) / 100.0
downtime_minutes = round(30 * 24 * 60 * error_fraction, 2)
allowed_failures = int(monthly_requests * error_fraction)
return {"slo": slo_percent, "downtime_min": downtime_minutes, "allowed_5xx": allowed_failures}
assert calc_error_budget(99.9, 100_000_000) == {"slo": 99.9, "downtime_min": 43.2, "allowed_5xx": 100000}# CloudNativePG 3-node HA PostgreSQL 16 cluster with S3 WAL backup and Prometheus monitoring
apiVersion: postgresql.cnpg.io/v1
kind: Cluster
metadata:
name: pg-production-ha
namespace: databases
spec:
instances: 3
imageName: ghcr.io/cloudnative-pg/postgresql:16.4
storage:
storageClass: local-nvme-topolvm
size: 200Gi
monitoring:
enablePodMonitor: trueStep-by-Step
1. Deploy OpenTelemetry Collector with batch and memory_limiter processors to receive OTLP traces and metrics.
2. Run Grafana Beyla and Pyroscope eBPF DaemonSets for zero-code RED telemetry and continuous CPU/memory FlameGraphs.
3. Ship container JSON logs via Vector into Grafana Loki, stripping high-cardinality attributes from index labels.
4. Define Availability and Latency SLIs/SLOs and configure multi-window burn-rate alerts in Alertmanager.
5. Deploy a 3-instance CloudNativePG cluster with synchronous quorum replication, PgBouncer Pooler, and S3 PITR backups.
6. Deploy a Strimzi Kafka cluster with kraft: enabled and separate controller/broker KafkaNodePools.
7. Validate failover RTO (< 10 seconds for CloudNativePG primary promotion) using Chaos Mesh pod-kill experiments.
Validation
1. Grafana correlates metrics, Loki JSON logs, Tempo traces, and Pyroscope profiles via shared trace_id
2. Prometheus cardinality audit confirms zero unbounded labels (user_id, ip, request_id) in time-series indexes
3. Deleting the CloudNativePG primary pod promotes a standby automatically in under 10 seconds with zero data loss
4. Strimzi Kafka KRaft cluster operates with zero ZooKeeper pods and maintains healthy under-replicated partition count (0)
Troubleshooting
- Prometheus or Loki OOM due to cardinality explosion — drop dynamic labels (user_id, path with UUIDs) in Vector/RelabelConfig.
- PostgreSQL max_connections exhausted during traffic spike — route application traffic through the CloudNativePG PgBouncer Pooler in transaction mode.
- ALTER TABLE hangs all concurrent SELECTs on PostgreSQL — set lock_timeout = '2s' in migrations so DDL fails fast instead of queuing behind long queries.
- Kafka consumer lag growing steadily — verify partition count matches or exceeds consumer pod count in the consumer group.
Observability, SRE & Highload Stateful Infrastructure (Наблюдаемость, SRE и Highload БД)
Четыре столпа телеметрии (метрики, логи, трейсы, eBPF-профилирование), контроль Error Budget и отказоустойчивые кластеры БД.
Быстрый старт
# Deploy OpenTelemetry + Pyroscope eBPF profiler, HA CloudNativePG, and Kafka KRaft
kubectl apply -f labs/nextgen_2027_pack/otel-collector-and-pyroscope.yaml
kubectl apply -f labs/baremetal_and_ha_db_pack/cloudnativepg-ha-cluster.yaml
kubectl apply -f labs/baremetal_and_ha_db_pack/kafka-kraft-strimzi.yaml# Multi-window RED 5xx error percentage over 5 minutes
sum(rate(http_requests_total{job="backend-api",status=~"5.."}[5m]))
/
sum(rate(http_requests_total{job="backend-api"}[5m])) * 100Когда использовать
- Построение единого контура наблюдаемости со связкой метрик VictoriaMetrics, логов Vector/Loki, трейсов Tempo и профилей Pyroscope по trace_id
- Автоматический сбор RED-метрик и распределенных трейсов без правок кода через eBPF-агент Grafana Beyla
- Внедрение SRE-процессов: расчет SLI/SLO, контроль выгорания Error Budget и проведение Blameless Postmortems
- Эксплуатация отказоустойчивых кластеров PostgreSQL 16 (CloudNativePG), Apache Kafka в режиме KRaft (Strimzi) и аналитических витрин ClickHouse
Лучшие практики
- Никогда не добавляйте высококардинальные поля (user_id, email, request_id, IP) в лейблы Prometheus или Loki — храните их в теле JSON-лога.
- Прокидывайте trace_id в каждую строку JSON-лога для мгновенного перехода из лога Loki в трейс Tempo и профиль CPU Pyroscope.
- Настраивайте пейджинг дежурного по скорости выгорания Error Budget (Burn Rate) и симптомам деградации, а не по разовым всплескам CPU.
- Разворачивайте CloudNativePG минимум на 3 реплики в разных зонах доступности с пулером PgBouncer (transaction mode) и архивацией WAL в S3.
- Запускайте новые кластеры Apache Kafka исключительно в режиме KRaft (без ZooKeeper) через оператор Strimzi с выгрузкой холодных сегментов в S3.
- Используйте легковесный ClickHouse Keeper на C++ вместо тяжелого JVM ZooKeeper для координации таблиц ReplicatedMergeTree.
Зависимости
# Install VictoriaMetrics, Loki, OpenTelemetry Operator, and CloudNativePG Helm charts
helm repo add cnpg https://cloudnative-pg.github.io/charts
helm repo add open-telemetry https://open-telemetry.github.io/opentelemetry-helm-chartsПримеры
# Compute monthly SLO downtime budget in minutes and allowed 5xx error count
def calc_error_budget(slo_percent: float, monthly_requests: int) -> dict:
error_fraction = (100.0 - slo_percent) / 100.0
downtime_minutes = round(30 * 24 * 60 * error_fraction, 2)
allowed_failures = int(monthly_requests * error_fraction)
return {"slo": slo_percent, "downtime_min": downtime_minutes, "allowed_5xx": allowed_failures}
assert calc_error_budget(99.9, 100_000_000) == {"slo": 99.9, "downtime_min": 43.2, "allowed_5xx": 100000}# CloudNativePG 3-node HA PostgreSQL 16 cluster with S3 WAL backup and Prometheus monitoring
apiVersion: postgresql.cnpg.io/v1
kind: Cluster
metadata:
name: pg-production-ha
namespace: databases
spec:
instances: 3
imageName: ghcr.io/cloudnative-pg/postgresql:16.4
storage:
storageClass: local-nvme-topolvm
size: 200Gi
monitoring:
enablePodMonitor: trueПошаговое руководство
1. Разверните OpenTelemetry Collector с процессорами memory_limiter и batch для приема OTLP-метрик и трейсов.
2. Поднимите DaemonSet-агенты Grafana Beyla и Pyroscope для eBPF-трассировки без правок кода и построения FlameGraph-профилей.
3. Настройте сбор JSON-логов через Vector в Grafana Loki с очисткой высококардинальных меток.
4. Зафиксируйте целевые SLI/SLO и настройте многооконные алерты на выгорание Error Budget в Alertmanager.
5. Разверните кластер PostgreSQL 16 из 3 узлов под управлением CloudNativePG с пулером PgBouncer и непрерывным бэкапом WAL в S3.
6. Запустите кластер Apache Kafka в режиме KRaft через оператор Strimzi с разделением пулов controller и broker.
7. Проверьте время автоматического переключения мастера (RTO < 10 с) через эксперимент pod-kill в Chaos Mesh.
Валидация
1. В Grafana работает сквозной переход от метрик и логов Loki к трейсам Tempo и профилям Pyroscope по общему trace_id
2. Аудит кардинальности Prometheus подтверждает отсутствие безразмерных меток (user_id, ip, request_id) в индексах
3. При удалении мастер-пода CloudNativePG реплика автоматически становится новым мастером быстрее чем за 10 секунд без потери данных
4. Кластер Strimzi Kafka работает в режиме KRaft без подов ZooKeeper при нулевом количестве недореплицированных партиций
Устранение неполадок
- Падение Prometheus или Loki по OOM из-за взрыва кардинальности — удалите динамические поля (UUID в URL, user_id) из labels через relabel_configs.
- Исчерпание max_connections в PostgreSQL на пике нагрузки — переключите сервисы на подключение через пулер PgBouncer в режиме transaction.
- Миграция ALTER TABLE заблокировала все чтение таблицы — всегда задавайте SET lock_timeout = '2s' перед выполнением DDL-миграций.
- Постоянный рост Consumer Lag в Kafka — убедитесь, что число партиций топика не меньше числа подов-консьюмеров в группе.