12+
Оглавление - Надежная оценка эффектов: A/B-тесты и причинный анализ
Методическое пособие
- Введение
- Актуальность и степень разработанности темы
- Цель и задачи методического пособия
- Объект и предмет исследования
- Методологическая основа пособия
- Научная новизна и практическая значимость
- Глава 1. Теоретические основы надежной оценки продуктовых и бизнес-изменений
- 1.1. Роль экспериментов в аналитике данных и управленческих решениях
- 1.2. Причинно-следственная оценка в продуктовой и бизнес-аналитике
- 1.3. Обзор литературы по A/B-тестированию, CUPED, Causal Impact и Difference-in-Differences
- 1.4. Сравнение методов оценки эффекта и типовые ошибки
- Глава 2. A/B-тестирование как базовый метод экспериментальной оценки
- 2.1. Когда достаточно обычного A/B-теста
- 2.2. Формулирование гипотезы и выбор основной метрики
- 2.3. Единица рандомизации: пользователь, клиент, заказ, магазин, регион
- 2.4. Расчет MDE, мощности теста и минимального размера выборки
- 2.5. Подготовка данных и проверка корректности логирования
- 2.6. A/A-тест и SRM-проверка как базовая диагностика корректности эксперимента
- 2.7. Пошаговый алгоритм проведения A/B-теста
- 2.8. Диагностические проверки и воспроизводимый расчет результата
- Глава 3. CUPED для повышения чувствительности экспериментов
- 3.1. Когда нужен CUPED и почему обычный тест может быть недостаточен
- 3.2. Использование доэкспериментальных данных
- 3.3. Расчет скорректированной метрики и коэффициента theta
- 3.4. Пошаговый алгоритм CUPED-преобразования
- 3.5. Оценка снижения дисперсии и изменения ширины доверительного интервала
- 3.6. Ограничения CUPED и воспроизводимый расчет результата
- Глава 4. Квазиэкспериментальные методы при невозможности A/B-теста
- 4.1. Когда рандомизация невозможна или нежелательна
- 4.2. Когда нужен Causal Impact
- 4.3. Пошаговый алгоритм Causal Impact: контрольные ряды, прогноз, эффект
- 4.4. Когда лучше использовать Difference-in-Differences
- 4.5. Пошаговый алгоритм Difference-in-Differences
- 4.6. Проверка параллельных трендов и отсутствия раннего эффекта
- 4.7. Проверка устойчивости контрольной группы и плацебо-проверки
- Глава 5. Авторский прикладной подход к выбору метода и интерпретации результата
- 5.1. Дерево выбора подхода: A/B-тест с применением или без применения CUPED, Causal Impact либо Difference-in-Differences
- 5.2. Минимальный стандарт аналитического заключения
- 5.3. Статистическая и экономическая интерпретация результата
- 5.4. Guardrail-метрики и ограничения при принятии решений
- 5.5. Trustworthy Experiments Core как открытый методологический репозиторий
- Заключение
- Список литературы
- Приложения
- Приложение А. Краткий чек-лист выбора метода и проверки результата
- Приложение Б. Минимальные Python/SQL-шаблоны расчетов