Principal & AI-Infra · Maps 14–20 devops track →

Карта 19: Highload Data Infrastructure — Apache Kafka (KRaft), ClickHouse и S3 Lakehouse

~325 words Source: roadmaps/guides/19_Data_Streaming_Kafka_ClickHouse_and_Lakehouse_Map.md view source

Современному DevOps и SRE инженеру необходимо уметь разворачивать, масштабировать и диагностировать не только классический PostgreSQL, но и высоконагруженные стриминговые и аналитические движки.


1. Apache Kafka в эпоху KRaft (Без ZooKeeper!)

В актуальных версиях Kafka (3.8+ / 4.0) связка со старым тяжелым Apache ZooKeeper полностью удалена.

  • KRaft (Kafka Raft Metadata mode): метаданные кластера хранятся в специальном внутреннем топике @metadata, управляемом выделенными узлами-контроллерами по алгоритму консенсуса Raft.
  • Оператор Strimzi в Kubernetes:
  • Управление брокерами и пулами узлов через CRD Kafka и KafkaNodePool (отдельный пул под controller и отдельный под broker).
  • Декларативное создание топиков (kind: KafkaTopic) и пользователей с mTLS/SCRAM-доступом (kind: KafkaUser) прямо через GitOps (ArgoCD).
  • Tiered Storage (Многоуровневое хранение):
  • Брокеры держат на быстрых локальных NVMe-дисках только горячие данные за последние 2–4 часа, а исторические сегменты прозрачно выгружают в дешевый S3-бакет. Это позволяет масштабировать вычислительные брокеры за минуты без перекачки терабайтов данных по сети.

2. ClickHouse в продакшене (Логи, Аналитика, Метрики)

ClickHouse в 2026–2027 годах активно вытесняет тяжелый и дорогой по памяти стек Elasticsearch/OpenSearch для хранения логов, трейсов и продуктовой аналитики.

  • Архитектура в Kubernetes (Altinity ClickHouse Operator):
  • Ресурс kind: ClickHouseInstallation (CHI) декларативно описывает топологию шардов и реплик.
  • Координация репликации таблиц движка ReplicatedMergeTree выполняется через легковесный ClickHouse Keeper (написан на C++, замена ZooKeeper).
  • Золотые правила эксплуатации ClickHouse для SRE:
  • Никаких мелких вставок по 1 строчке: каждая вставка в MergeTree создает отдельную директорию (part) на диске. Если писать по 1 событию тысячу раз в секунду, база захлебнется в слияниях и выдаст ошибку Too many parts (300).
  • Решение: батчировать вставки на стороне коллектора (Vector / Kafka Engine) пачками по 10 000 – 100 000 строк раз в 1–5 секунд либо включать асинхронные вставки (async_insert = 1).
  • Хранение S3-backed (s3_main / Zero-Copy Replication): использование объектного хранилища S3 как основного диска для холодных партиций с локальным кэшем на NVMe.