Foundation · Maps 01–03Фундамент · мапы 01–03
devops track →
Карта 01 (Расширенная): Linux, Сети и Базовая Инфраструктура
1. Внутреннее устройство Linux (Linux Internals)
- Планировщик и процессы:
- CFS (Completely Fair Scheduler), приоритеты nice и renice, RT-планировщик.
- Состояния процессов:
R(Running),S(Interruptible sleep),D(Uninterruptible sleep — критический маркер проблем с диском/NFS),Z(Zombie),T(Stopped). - Управление сигналами: почему процесс с PID 1 не умирает по
SIGTERMпо умолчанию и как использоватьtiniилиinitобвязку. - Виртуальная файловая система
/procи/sys: чтение лимитов дескрипторов (/proc/sys/fs/file-max), тюнинг параметров ядра черезsysctl.conf(net.core.somaxconn,vm.swappiness,fs.inotify.max_user_watches). - Изоляция и контейнеризация под капотом:
- Namespaces:
pid(изоляция идентификаторов процессов).net(собственные интерфейсы, таблица маршрутизации, iptables для каждого контейнера).mnt(изоляция точек монтирования файловой системы).ipc(межпроцессное взаимодействие: семафоры, очереди сообщений).uts(hostname и доменное имя).user(мапинг UID/GID хоста в контейнер — основа rootless-контейнеров).cgroup(управление и ограничение потребления ресурсов).- cgroups v2:
- Универсальная иерархия контроллеров.
- Ограничение CPU через
cpu.weightиcpu.max(quota/period). - Ограничение памяти через
memory.maxи поведение OOM Killer (memory.oom.group). - Память и Дисковая подсистема:
- Архитектура Virtual Memory, Page Cache, механизмы Swap, использование
vm.dirty_ratioиvm.dirty_background_ratio. - Утилита
lsof— поиск процессов, удерживающих открытые файлы или удаленные файлы (причина утечки дискового пространства). - LVM (Logical Volume Manager): создание Physical Volume (PV), Volume Group (VG), Logical Volume (LV), расширение томов на лету без перезагрузки.
- RAID (0, 1, 5, 10) и программные уровни через
mdadm. - Systemd и инициализация системы:
- Написание юнитов (
.service,.timer,.socket). - Харденинг сервисов: директивы
ProtectSystem=full,PrivateTmp=true,NoNewPrivileges=yes,ReadOnlyPaths=/. - Диагностика через
journalctl: фильтрация по PID, юниту, времени, уровням логирования (-p err), вывод в JSON (-o json).
2. Диагностика и Траблшутинг (USE / RED методики)
- CPU:
- Анализ
top/htop, метрикиus(user),sy(system),id(idle),wa(I/O wait),si/st(steal time в облаках). - Понимание Load Average: почему значение LA выше количества ядер не всегда означает деградацию (учитываются процессы в статусе
D). - Memory:
- Команда
free -m(разница междуavailableиfree). - Анализ
vmstat 1(колонкиsi/soна предмет своппинга). - Поиск причин OOM-kill в системном логе через
dmesg -T | grep -i oom. - Disk I/O:
- Утилита
iostat -xz 1: метрикиawait(среднее время ожидания I/O запроса) и%util(загрузка устройства). iotopдля поиска процессов, активно пишущих на диск.- Диагностика через eBPF (современный стек):
- Утилиты из пакета BCC и bpftrace:
execsnoop(отслеживание запусков процессов в реальном времени).biolatency(гистограмма задержек дисковых операций).tcplife(информация о завершенных TCP-соединениях с таймингами).
3. Продвинутая командная строка и обработка данных
- Стандарт надежного скриптинга в Bash:
set -euo pipefail(прекращение выполнения при ошибках, необъявленных переменных и сбоях в пайплайнах). - Использование
trapдля очистки временных файлов при выходе из скрипта. - Мощные потоковые утилиты:
grepс расширенными регулярными выражениями (-P).sedдля инлайн-замен (sed -i 's/old/new/g' file).awkдля колоночной фильтрации, подсчета сумм и построения отчетов.- Парсинг JSON/YAML в скриптах:
jq(фильтрация, селекторы, преобразования) иyq. - Пакетная обработка:
xargs -Pдля параллельного запуска задач,rsyncдля инкрементального копирования по сети.
4. Компьютерные сети и безопасность
- Стек TCP/IP в деталях:
- Трехстороннее рукопожатие (SYN -> SYN-ACK -> ACK), четырехсторонняя процедура закрытия соединения (FIN).
- Состояния сокетов:
TIME_WAIT(почему важно для предотвращения дублирования пакетов) иCLOSE_WAIT(признак того, что приложение забыло закрыть дескриптор сокета). - Проблемы с MTU и Path MTU Discovery (PMTUD) в оверлейных сетях (VXLAN, Geneve), приводящие к зависанию TCP-соединений.
- Маршрутизация и NAT:
- Управление таблицами маршрутизации через
ip routeиip rule. - Механизм Netfilter и таблица состояний соединений Conntrack: переполнение таблицы (
nf_conntrack: table full) под высокой нагрузкой и способы тюнинга. - Файрволы:
- Базовые принципы
iptables/nftables(цепочкиINPUT,FORWARD,OUTPUT). - DNS и Криптография:
- Резолвинг: корневые серверы, авторитетные серверы, рекурсивные резолверы (1.1.1.1, 8.8.8.8), кэширование записей (TTL).
- Типы записей:
A,AAAA,CNAME,TXT,SRV,CAA. Диагностика черезdig +trace. - TLS 1.3 Handshake (минимизация раунд-трипов), проверка цепочки сертификатов, выпуск сертификатов через ACME протокол (Let's Encrypt), генерация mTLS сертификатов для межсервисного взаимодействия.
5. Веб-серверы и Обратные прокси (Reverse Proxy)
- Nginx / Envoy / Traefik / HAProxy:
- Настройка Reverse Proxy и балансировки нагрузки (алгоритмы Round Robin, Least Connections, IP Hash).
- Терминация SSL/TLS, поддержка HTTP/2 и HTTP/3 (QUIC), проксирование gRPC трафика и WebSockets.
- Тюнинг производительности: пул воркеров (
worker_processes,worker_connections), буферы (client_max_body_size,proxy_buffer_size), кэширование ответов и ограничение частоты запросов (Rate Limiting черезlimit_req_zone).