Principal & AI-Infra · Maps 14–20Principal и AI-Infra · мапы 14–20
devops track →
Карта 17: Bare-Metal Kubernetes (Talos Linux, Cilium BGP, Rook-Ceph)
Не все компании живут в публичных облаках (AWS/GCP/Yandex Cloud). Из-за требований FinOps, регуляторики или наличия собственных стоек с GPU-серверами в 2026–2027 годах наблюдается бум Bare-Metal Kubernetes нового поколения.
1. Неизменяемые ОС для Kubernetes: Talos Linux
Забудь про установку Ubuntu/Debian на 100 серверов и настройку kubeadm через Ansible:
- Talos Linux — минималистичная неизменяемая (Immutable) ОС, созданная специально для запуска Kubernetes.
- В системе нет SSH, нет Bash, нет пакетного менеджера (
apt/yum): поверхность атаки сведена к минимуму. - Вся настройка узла, обновление ядра и версии Kubernetes выполняются декларативно через единый YAML-файл конфигурации по взаимно аутентифицированному gRPC API (
talosctl).
2. Как получить Service: LoadBalancer на голом железе (Cilium BGP / MetalLB)
В облаке при создании Service с типом LoadBalancer облачный контроллер сам выдает внешний IP. На Bare-Metal серверах такого облачного контроллера нет.
Современное решение — Cilium BGP Control Plane:
- На физических коммутаторах в стойке (Top-of-Rack switches — MikroTik, Juniper, Cisco или роутерах с FRRouting) поднимается BGP-сессия с нодами кластера Kubernetes.
- В Cilium создается ресурс
CiliumLoadBalancerIPPool(пул выделенных белых или корпоративных IP-адресов) иCiliumBGPPeeringPolicy. - Как только в кластере появляется сервис
type: LoadBalancer, Cilium автоматически выдает ему IP из пула и анонсирует маршрут/32по протоколу BGP на маршрутизаторы дата-центра с балансировкой ECMP (Equal-Cost Multi-Path) сразу на несколько воркер-нод.
3. Сетевое хранилище (CSI) на своих серверах: Rook-Ceph vs Longhorn vs Local Path
| Решение | Архитектура | Когда выбирать |
|---|---|---|
| Rook-Ceph | Промышленное распределенное хранилище (Block RBD, файловая шара CephFS, объектное S3 RGW). | Для продакшн-кластеров от 3–5+ выделенных storage-узлов с быстрыми NVMe и сетью 25/100 GbE. |
| Longhorn (от SUSE/Rancher) | Легковесное блочное хранилище поверх локальных дисков с репликацией и бэкапами в S3. | Для небольших кластеров (3–10 нод), где не хочется тратить ресурсы на сложную поддержку Ceph. |
| TopoLVM / Local Path Provisioner | Выделяет раздел напрямую на локальном NVMe-диске конкретной ноды без сетевой репликации. | Идеально для высоконагруженных БД (CloudNativePG, Kafka) и кэша весов LLM, которые сами умеют реплицировать данные на уровне приложения без потерь скорости на сетевом сторадже. |