выживание систем под нагрузкойkeeping systems alive under load

SRE, Production Engineering и диагностика систем& System Diagnostics

Практическое выживание систем под высокой нагрузкой: предотвращение аварий, профилирование, диагностика на лету и заложенный уровень надёжности (SLO/SLA). Каждая технология — с точки зрения SRE: как её мониторить, где узкие места, как она ведёт себя при отказе и как диагностировать без остановки сервиса. Каркас: 11 глав, 30 пунктов, страницы ещё не написаны.Practical survival for systems under high load: incident prevention, profiling, live diagnostics, and hitting a target reliability level (SLO/SLA). Every technology is covered from an SRE angle: how to monitor it, where its bottlenecks are, how it behaves on failure, and how to diagnose it without downtime. Skeleton: 11 chapters, 30 items, pages not yet written.

1. Фундамент SRE: метрики, задержки и бюджеты ошибок1. SRE foundations: metrics, latency & error budgets

математический аппарат измерения надёжностиthe math of measuring reliability

1.1 Метрики надёжности (SLI/SLO/SLA)Reliability metrics (SLI/SLO/SLA)Выбор SLI, расчёт Error Budget, политики выгорания бюджета (Burn Rate Alerts) и заморозка релизов.Choosing SLIs, calculating the error budget, burn-rate alert policies, and freezing releases when the budget runs out.interview 1.2 Аналитика задержек (Latency Distribution)Latency distribution analysisПочему mean/p50 скрывают проблемы, анализ хвостов (p95/p99/p99.9), проблема Coordinated Omission.Why mean/p50 hide real problems, tail analysis (p95/p99/p99.9), the coordinated omission problem in load-testing tools.interview

2. Docker и container runtimes в SRE2. Docker & container runtimes in SRE

2.1 Диагностика OOM и cgroupsOOM diagnostics & cgroupsoom_score/oom_score_adj, cgroup v1 vsvs v2, /proc/[pid]/smaps, поиск утечек без перезапуска., finding leaks without a restart.interview 2.2 Ограничения CPU и throttlingCPU limits & throttlingcpu.cfs_quota_us/cfs_period_us, метрики троттлинга (nr_throttled, throttled_time)., throttling metrics (nr_throttled, throttled_time).interview 2.3 Инвазивная отладка падающих контейнеровInvasive debugging of crashing containersnsenter для подключения к пространствам имён, tcpdump/strace внутри контейнера без встроенных утилит. to attach to namespaces, tcpdump/strace inside a container with no built-in tools.

3. Kubernetes (EKS): production operations и incident management3. Kubernetes (EKS): production operations & incident management

3.1 Паттерны сбоев Pods и Control PlanePod & control-plane failure patternsCrashLoopBackOff, ImagePullBackOff, OOMKilled, Evicted, Liveness/Readiness/Startup probes, PDB., liveness/readiness/startup probes, PDBs.interview 3.2 Масштабирование и управление ресурсами в EKSScaling & resource management in EKSKarpenter vs Cluster Autoscaler, requests vs limits, Resource Overcommit, лимиты AWS API.vs Cluster Autoscaler, requests vs limits, resource overcommit, AWS API rate limits.interview 3.3 Сетевой SRE в K8sNetwork SRE in K8sCoreDNS latency, ndots:5, потеря пакетов на kube-proxy и eBPF-альтернативы (Cilium)., packet loss at kube-proxy and eBPF alternatives (Cilium).

4. AWS Core Services: отказоустойчивость и disaster recovery4. AWS core services: resilience & disaster recovery

4.1 Сетевая надёжность и диагностика (VPC, ALB/NLB)Network reliability & diagnostics (VPC, ALB/NLB)VPC Flow Logs, ALB (L7) vs NLB (L4) при всплесках, idle timeouts, HTTP 502/504., ALB (L7) vs NLB (L4) under bursts, idle timeouts, HTTP 502/504.interview 4.2 Вычисления и хранилища (EC2, EBS, S3)Compute & storage (EC2, EBS, S3)EBS gp2/gp3 burst credits vs io2, AZ degradation, S3 Cross-Region Replication.vs io2, AZ degradation, S3 cross-region replication. 4.3 Управление доступом (IAM)Access management (IAM)IRSA — аутентификация в EKS без секретов на диске, анализ AccessDenied через CloudTrail. — secretless EKS authentication, diagnosing AccessDenied via CloudTrail.

5. vSphere ESXi: performance tuning и troubleshooting5. vSphere ESXi: performance tuning & troubleshooting

5.1 Потери производительности CPU и памятиCPU & memory performance loss%RDY (CPU Ready Time), NUMA-выравнивание, Memory Ballooning/Swapping через esxtop., NUMA node alignment, memory ballooning/swapping via esxtop.interview 5.2 Подсистема ввода-вывода и храненияThe I/O & storage subsystemDAVG/KAVG/GAVG, сбои vSAN, обрывы iSCSI/NFS Datastores., vSAN failures, iSCSI/NFS datastore disconnects.

6. PostgreSQL SRE: health check, узкие места и восстановление6. PostgreSQL SRE: health checks, bottlenecks & recovery

6.1 Диагностика блокировок и зависших запросовDiagnosing locks & hung queriespg_stat_activity, pg_locks, PgBouncer (transaction vs session pooling), Connection Storm., PgBouncer (transaction vs session pooling), connection storms.interview 6.2 Производительность дисков и памятиDisk & memory performanceAutovacuum, Transaction ID Wraparound, table bloat, задержки WAL-репликации., transaction ID wraparound, table bloat, WAL replication lag.interview 6.3 Disaster Recovery (DR)PITR через pgBackRest/WAL-G, Failover через Patroni + etcd, предотвращение Split-Brain.via pgBackRest/WAL-G, failover via Patroni + etcd, preventing split-brain.

7. MongoDB SRE: шардинг, oplog и управление памятью7. MongoDB SRE: sharding, oplog & memory management

7.1 Профилирование WiredTiger и RAMProfiling WiredTiger & RAMWiredTiger Cache Size, db.serverStatus(), провокация OOM Killer при исчерпании RAM., triggering the OOM killer when RAM is exhausted. 7.2 Репликация и oplogReplication & the oplogReplication Lag, Read Preference, расчёт размера oplog, выпадение secondary из кластера., sizing the oplog, secondary nodes falling out of the cluster.interview 7.3 Масштабирование и шардингScaling & shardingJumbo Chunks, Chunk Migration, неудачные ключи шардинга (hotspotting, monotonic key)., poor shard-key choices (hotspotting, the monotonic key issue).

8. Redis SRE: узкие места однопоточности и высокая доступность8. Redis SRE: single-thread bottlenecks & high availability

8.1 Управление ОЗУ и вытеснением данныхRAM & eviction managementmem_fragmentation_ratio, jemalloc, политики maxmemory-policy (volatile-lru, allkeys-lru, noeviction)., maxmemory-policy choices (volatile-lru, allkeys-lru, noeviction).interview 8.2 Предотвращение блокировок event loopPreventing event-loop blockingSLOWLOG GET, запрет O(N)-команд (KEYS *, HGETALL) в проде, UNLINK вместо DEL., banning O(N) commands (KEYS *, HGETALL) in production, UNLINK instead of DEL.interview 8.3 Отказоустойчивость и персистентностьResilience & persistencefork(), RDB/AOF Rewrite, задержки Copy-on-Write, Redis Sentinel/Cluster failover., copy-on-write latency spikes, Redis Sentinel/Cluster failover.

9. GraphQL SRE: защита, rate limiting и observability9. GraphQL SRE: protection, rate limiting & observability

9.1 Защита от Denial of ServiceDenial-of-service protectionQuery Depth Limiting, Query Cost Analysis, rate limiting через Token Bucket в Redis., rate limiting via a token bucket in Redis.interview 9.2 Мониторинг производительности резолверовMonitoring resolver performanceOpenTelemetry, DataLoader для N+1 Problem, Partial Data Responses. against the N+1 problem, partial data responses.

10. Grafana Stack: observability, алертинг и трейсинг10. Grafana stack: observability, alerting & tracing

10.1 Метрики (Prometheus + Grafana)Metrics (Prometheus + Grafana)High Cardinality, Alert Fatigue, разделение алертов на Pagers и Tickets., alert fatigue, splitting alerts into pagers vs tickets.interview 10.2 Централизованные логи (Grafana Loki)Centralized logs (Grafana Loki)Log pipeline, извлечение метаданных без превращения в high-cardinality метки, LogQL., extracting metadata without turning it into high-cardinality labels, LogQL. 10.3 Распределённый трейсинг (Tempo + OpenTelemetry)Distributed tracing (Tempo + OpenTelemetry)Сбор трасс с C++/Rust/Go/Python сервисов, Tail-based vs Head-based Sampling.Collecting traces from C++/Rust/Go/Python services, tail-based vs head-based sampling.interview

11. Chaos Engineering и диагностика систем (eBPF и Linux tools)11. Chaos engineering & system diagnostics (eBPF & Linux tools)

11.1 Chaos Testing (Chaos Mesh / Litmus)Симуляция потери пакетов, задержек, отказа дисков, убийство pod'ов/EC2, проверка self-healing.Simulating packet loss, latency injection, disk failure, killing pods/EC2, validating self-healing. 11.2 Низкоуровневое профилирование и eBPFLow-level profiling & eBPFbpftrace, bcc-tools, Flamegraphs, диагностика ядра (biolatency и другие)., kernel-level diagnostics (biolatency and others).interview 11.3 Анализ аварий (Post-Mortem)Post-mortem analysisCore Dumps после SIGSEGV/SIGABRT, Blameless Post-Mortem, 5 Whys, Action Items.after SIGSEGV/SIGABRT, blameless post-mortems, the 5 Whys, action items.

статусstatus

Это каркас: 11 глав и 30 пунктов зафиксированы, страницы ещё не написаны. Метка interview отмечает пункты, которые чаще всего всплывают на технических собеседованиях (SLI/SLO, OOM/cgroups, Pod failure patterns, Karpenter/overcommit, CPU Ready Time, PostgreSQL locks/autovacuum, MongoDB replication lag, Redis eviction/slow commands, GraphQL rate limiting, Prometheus cardinality, distributed tracing, eBPF/flamegraphs). Содержимое адаптировано из kb/sre.md — личного высокоуровневого плана, а не готового текста. Как и compiler-asm/, это практический раздел про эксплуатацию реальных систем, а не абстрактная теория, поэтому он стоит на верхнем уровне рядом с языками, а не внутри theory/.This is a skeleton: 11 chapters and 30 items are locked in, pages not yet written. The interview tag marks the items that come up most often in technical interviews (SLI/SLO, OOM/cgroups, pod failure patterns, Karpenter/overcommit, CPU ready time, PostgreSQL locks/autovacuum, MongoDB replication lag, Redis eviction/slow commands, GraphQL rate limiting, Prometheus cardinality, distributed tracing, eBPF/flamegraphs). Content is adapted from kb/sre.md — a personal high-level outline, not finished prose. Like compiler-asm/, this is a practical section about running real systems, not abstract theory, which is why it sits at the top level alongside the languages rather than inside theory/.