Foundation · Maps 01–03 devops track →

Карта 01 (Расширенная): Linux, Сети и Базовая Инфраструктура

~776 words Source: roadmaps/guides/01_Linux_and_Networking_Map.md view source

1. Внутреннее устройство Linux (Linux Internals)

  • Планировщик и процессы:
  • CFS (Completely Fair Scheduler), приоритеты nice и renice, RT-планировщик.
  • Состояния процессов: R (Running), S (Interruptible sleep), D (Uninterruptible sleep — критический маркер проблем с диском/NFS), Z (Zombie), T (Stopped).
  • Управление сигналами: почему процесс с PID 1 не умирает по SIGTERM по умолчанию и как использовать tini или init обвязку.
  • Виртуальная файловая система /proc и /sys: чтение лимитов дескрипторов (/proc/sys/fs/file-max), тюнинг параметров ядра через sysctl.conf (net.core.somaxconn, vm.swappiness, fs.inotify.max_user_watches).
  • Изоляция и контейнеризация под капотом:
  • Namespaces:
  • pid (изоляция идентификаторов процессов).
  • net (собственные интерфейсы, таблица маршрутизации, iptables для каждого контейнера).
  • mnt (изоляция точек монтирования файловой системы).
  • ipc (межпроцессное взаимодействие: семафоры, очереди сообщений).
  • uts (hostname и доменное имя).
  • user (мапинг UID/GID хоста в контейнер — основа rootless-контейнеров).
  • cgroup (управление и ограничение потребления ресурсов).
  • cgroups v2:
  • Универсальная иерархия контроллеров.
  • Ограничение CPU через cpu.weight и cpu.max (quota/period).
  • Ограничение памяти через memory.max и поведение OOM Killer (memory.oom.group).
  • Память и Дисковая подсистема:
  • Архитектура Virtual Memory, Page Cache, механизмы Swap, использование vm.dirty_ratio и vm.dirty_background_ratio.
  • Утилита lsof — поиск процессов, удерживающих открытые файлы или удаленные файлы (причина утечки дискового пространства).
  • LVM (Logical Volume Manager): создание Physical Volume (PV), Volume Group (VG), Logical Volume (LV), расширение томов на лету без перезагрузки.
  • RAID (0, 1, 5, 10) и программные уровни через mdadm.
  • Systemd и инициализация системы:
  • Написание юнитов (.service, .timer, .socket).
  • Харденинг сервисов: директивы ProtectSystem=full, PrivateTmp=true, NoNewPrivileges=yes, ReadOnlyPaths=/.
  • Диагностика через journalctl: фильтрация по PID, юниту, времени, уровням логирования (-p err), вывод в JSON (-o json).

2. Диагностика и Траблшутинг (USE / RED методики)

  • CPU:
  • Анализ top / htop, метрики us (user), sy (system), id (idle), wa (I/O wait), si/st (steal time в облаках).
  • Понимание Load Average: почему значение LA выше количества ядер не всегда означает деградацию (учитываются процессы в статусе D).
  • Memory:
  • Команда free -m (разница между available и free).
  • Анализ vmstat 1 (колонки si/so на предмет своппинга).
  • Поиск причин OOM-kill в системном логе через dmesg -T | grep -i oom.
  • Disk I/O:
  • Утилита iostat -xz 1: метрики await (среднее время ожидания I/O запроса) и %util (загрузка устройства).
  • iotop для поиска процессов, активно пишущих на диск.
  • Диагностика через eBPF (современный стек):
  • Утилиты из пакета BCC и bpftrace:
  • execsnoop (отслеживание запусков процессов в реальном времени).
  • biolatency (гистограмма задержек дисковых операций).
  • tcplife (информация о завершенных TCP-соединениях с таймингами).

3. Продвинутая командная строка и обработка данных

  • Стандарт надежного скриптинга в Bash: set -euo pipefail (прекращение выполнения при ошибках, необъявленных переменных и сбоях в пайплайнах).
  • Использование trap для очистки временных файлов при выходе из скрипта.
  • Мощные потоковые утилиты:
  • grep с расширенными регулярными выражениями (-P).
  • sed для инлайн-замен (sed -i 's/old/new/g' file).
  • awk для колоночной фильтрации, подсчета сумм и построения отчетов.
  • Парсинг JSON/YAML в скриптах: jq (фильтрация, селекторы, преобразования) и yq.
  • Пакетная обработка: xargs -P для параллельного запуска задач, rsync для инкрементального копирования по сети.

4. Компьютерные сети и безопасность

  • Стек TCP/IP в деталях:
  • Трехстороннее рукопожатие (SYN -> SYN-ACK -> ACK), четырехсторонняя процедура закрытия соединения (FIN).
  • Состояния сокетов: TIME_WAIT (почему важно для предотвращения дублирования пакетов) и CLOSE_WAIT (признак того, что приложение забыло закрыть дескриптор сокета).
  • Проблемы с MTU и Path MTU Discovery (PMTUD) в оверлейных сетях (VXLAN, Geneve), приводящие к зависанию TCP-соединений.
  • Маршрутизация и NAT:
  • Управление таблицами маршрутизации через ip route и ip rule.
  • Механизм Netfilter и таблица состояний соединений Conntrack: переполнение таблицы (nf_conntrack: table full) под высокой нагрузкой и способы тюнинга.
  • Файрволы:
  • Базовые принципы iptables / nftables (цепочки INPUT, FORWARD, OUTPUT).
  • DNS и Криптография:
  • Резолвинг: корневые серверы, авторитетные серверы, рекурсивные резолверы (1.1.1.1, 8.8.8.8), кэширование записей (TTL).
  • Типы записей: A, AAAA, CNAME, TXT, SRV, CAA. Диагностика через dig +trace.
  • TLS 1.3 Handshake (минимизация раунд-трипов), проверка цепочки сертификатов, выпуск сертификатов через ACME протокол (Let's Encrypt), генерация mTLS сертификатов для межсервисного взаимодействия.

5. Веб-серверы и Обратные прокси (Reverse Proxy)

  • Nginx / Envoy / Traefik / HAProxy:
  • Настройка Reverse Proxy и балансировки нагрузки (алгоритмы Round Robin, Least Connections, IP Hash).
  • Терминация SSL/TLS, поддержка HTTP/2 и HTTP/3 (QUIC), проксирование gRPC трафика и WebSockets.
  • Тюнинг производительности: пул воркеров (worker_processes, worker_connections), буферы (client_max_body_size, proxy_buffer_size), кэширование ответов и ограничение частоты запросов (Rate Limiting через limit_req_zone).