Прочие эксперименты

НЕ ОБЯЗАТЕЛЬНО ДЛЯ НОВИЧКОВ

О чем эта статья

Здесь собраны "короткие, но полезные" эксперименты, которые развивают инженерное мышление: формулировать гипотезу, измерять, проверять, делать выводы.

Каждый эксперимент выполняется отдельно, но по общей схеме:

  1. Сформулировать гипотезу.
  2. Подготовить воспроизводимый стенд.
  3. Снять метрики "до".
  4. Изменить один фактор.
  5. Снять метрики "после" и сравнить.

Эксперимент 1. Влияние структуры данных

Гипотеза

Для частого поиска по ключу hash map быстрее, чем линейный поиск в списке.

Шаги

  1. Создайте набор данных фиксированного размера (например, 10k, 100k, 1M элементов).
  2. Реализуйте два варианта поиска:
    • в массиве/списке;
    • в хэш-таблице.
  3. Сделайте 10-100 тысяч запросов поиска.
  4. Замерьте:
    • общее время;
    • p95 времени одной операции;
    • потребление памяти.

Что зафиксировать

  • При каких объемах данных разница становится существенной.
  • Каков trade-off по памяти.

Эксперимент 2. Кэширование против прямого чтения

Гипотеза

Кэш снижает latency для "горячих" данных, но может давать устаревшие ответы.

Шаги

  1. Выберите эндпоинт чтения (например, профиль пользователя).
  2. Снимите baseline без кэша.
  3. Добавьте кэш с TTL (например, 10-60 секунд).
  4. Повторите нагрузочный прогон.
  5. Добавьте сценарий обновления данных и проверку корректности инвалидации.

Что сравнить

  • p95/p99 latency,
  • количество запросов в БД,
  • долю устаревших ответов,
  • влияние TTL на баланс "скорость/актуальность".

Эксперимент 3. Повторная попытка (retry) и устойчивость

Гипотеза

Retry повышает успешность при временных сбоях, но при неверных настройках усиливает перегрузку.

Шаги

  1. Смоделируйте нестабильный внешний сервис (ошибки 503, таймауты).
  2. Запустите клиент без retry.
  3. Запустите клиент с retry:
    • 2-3 попытки;
    • exponential backoff;
    • jitter.
  4. Сравните метрики.

Метрики

  • success rate,
  • средняя и хвостовая задержка,
  • число запросов на внешний сервис,
  • время восстановления после сбоя.

Единый шаблон отчета для мини-экспериментов

Используйте один формат:

  1. Контекст: что и зачем проверяется.
  2. Гипотеза: ожидаемый эффект.
  3. Методика: окружение, версия, параметры.
  4. Результаты: численные метрики.
  5. Интерпретация: почему получили такой результат.
  6. Решение: что внедряем и при каких условиях.

Частые методологические ошибки

  • Менять сразу несколько факторов.
  • Не фиксировать версии и параметры запуска.
  • Делать выводы по одному прогону.
  • Сравнивать результаты без учета дисперсии.
  • Не проверять функциональную корректность после "оптимизаций".

Что дает эта лабораторная на практике

Вы учитесь не просто "ускорять код", а принимать инженерные решения на основе данных. Это фундамент для архитектуры, производительности и надежности в реальных проектах.