Principal & AI-Infra · Maps 14–20Principal и AI-Infra · мапы 14–20
devops track →
Карта 19: Highload Data Infrastructure — Apache Kafka (KRaft), ClickHouse и S3 Lakehouse
Современному DevOps и SRE инженеру необходимо уметь разворачивать, масштабировать и диагностировать не только классический PostgreSQL, но и высоконагруженные стриминговые и аналитические движки.
1. Apache Kafka в эпоху KRaft (Без ZooKeeper!)
В актуальных версиях Kafka (3.8+ / 4.0) связка со старым тяжелым Apache ZooKeeper полностью удалена.
- KRaft (Kafka Raft Metadata mode): метаданные кластера хранятся в специальном внутреннем топике
@metadata, управляемом выделенными узлами-контроллерами по алгоритму консенсуса Raft. - Оператор Strimzi в Kubernetes:
- Управление брокерами и пулами узлов через CRD
KafkaиKafkaNodePool(отдельный пул подcontrollerи отдельный подbroker). - Декларативное создание топиков (
kind: KafkaTopic) и пользователей с mTLS/SCRAM-доступом (kind: KafkaUser) прямо через GitOps (ArgoCD). - Tiered Storage (Многоуровневое хранение):
- Брокеры держат на быстрых локальных NVMe-дисках только горячие данные за последние 2–4 часа, а исторические сегменты прозрачно выгружают в дешевый S3-бакет. Это позволяет масштабировать вычислительные брокеры за минуты без перекачки терабайтов данных по сети.
2. ClickHouse в продакшене (Логи, Аналитика, Метрики)
ClickHouse в 2026–2027 годах активно вытесняет тяжелый и дорогой по памяти стек Elasticsearch/OpenSearch для хранения логов, трейсов и продуктовой аналитики.
- Архитектура в Kubernetes (Altinity ClickHouse Operator):
- Ресурс
kind: ClickHouseInstallation(CHI) декларативно описывает топологию шардов и реплик. - Координация репликации таблиц движка
ReplicatedMergeTreeвыполняется через легковесный ClickHouse Keeper (написан на C++, замена ZooKeeper). - Золотые правила эксплуатации ClickHouse для SRE:
- Никаких мелких вставок по 1 строчке: каждая вставка в
MergeTreeсоздает отдельную директорию (part) на диске. Если писать по 1 событию тысячу раз в секунду, база захлебнется в слияниях и выдаст ошибкуToo many parts (300). - Решение: батчировать вставки на стороне коллектора (Vector / Kafka Engine) пачками по
10 000 – 100 000строк раз в 1–5 секунд либо включать асинхронные вставки (async_insert = 1). - Хранение S3-backed (
s3_main/ Zero-Copy Replication): использование объектного хранилища S3 как основного диска для холодных партиций с локальным кэшем на NVMe.