Principal & AI-Infra · Maps 14–20 devops track →

Карта 17: Bare-Metal Kubernetes (Talos Linux, Cilium BGP, Rook-Ceph)

~359 words Source: roadmaps/guides/17_BareMetal_K8s_Talos_and_Cilium_BGP_Map.md view source

Не все компании живут в публичных облаках (AWS/GCP/Yandex Cloud). Из-за требований FinOps, регуляторики или наличия собственных стоек с GPU-серверами в 2026–2027 годах наблюдается бум Bare-Metal Kubernetes нового поколения.


1. Неизменяемые ОС для Kubernetes: Talos Linux

Забудь про установку Ubuntu/Debian на 100 серверов и настройку kubeadm через Ansible:

  • Talos Linux — минималистичная неизменяемая (Immutable) ОС, созданная специально для запуска Kubernetes.
  • В системе нет SSH, нет Bash, нет пакетного менеджера (apt/yum): поверхность атаки сведена к минимуму.
  • Вся настройка узла, обновление ядра и версии Kubernetes выполняются декларативно через единый YAML-файл конфигурации по взаимно аутентифицированному gRPC API (talosctl).

2. Как получить Service: LoadBalancer на голом железе (Cilium BGP / MetalLB)

В облаке при создании Service с типом LoadBalancer облачный контроллер сам выдает внешний IP. На Bare-Metal серверах такого облачного контроллера нет.

Современное решение — Cilium BGP Control Plane:

  1. На физических коммутаторах в стойке (Top-of-Rack switches — MikroTik, Juniper, Cisco или роутерах с FRRouting) поднимается BGP-сессия с нодами кластера Kubernetes.
  2. В Cilium создается ресурс CiliumLoadBalancerIPPool (пул выделенных белых или корпоративных IP-адресов) и CiliumBGPPeeringPolicy.
  3. Как только в кластере появляется сервис type: LoadBalancer, Cilium автоматически выдает ему IP из пула и анонсирует маршрут /32 по протоколу BGP на маршрутизаторы дата-центра с балансировкой ECMP (Equal-Cost Multi-Path) сразу на несколько воркер-нод.

3. Сетевое хранилище (CSI) на своих серверах: Rook-Ceph vs Longhorn vs Local Path

РешениеАрхитектураКогда выбирать
Rook-CephПромышленное распределенное хранилище (Block RBD, файловая шара CephFS, объектное S3 RGW).Для продакшн-кластеров от 3–5+ выделенных storage-узлов с быстрыми NVMe и сетью 25/100 GbE.
Longhorn (от SUSE/Rancher)Легковесное блочное хранилище поверх локальных дисков с репликацией и бэкапами в S3.Для небольших кластеров (3–10 нод), где не хочется тратить ресурсы на сложную поддержку Ceph.
TopoLVM / Local Path ProvisionerВыделяет раздел напрямую на локальном NVMe-диске конкретной ноды без сетевой репликации.Идеально для высоконагруженных БД (CloudNativePG, Kafka) и кэша весов LLM, которые сами умеют реплицировать данные на уровне приложения без потерь скорости на сетевом сторадже.