[karpov.courses] Симулятор A/B тестов. Базовая версия (Валерий Бабушкин, Николай Назаров)

Базовая версия ДЛЯ КОГО ЭТОТ КУРС: 1. Продакт-менеджер - Работаете над развитием продукта и хотите научиться принимать решения на основе data-driven подхода. 2. Аналитик - Занимаетесь анализом бизнес-метрик и хотите на практике разобраться во всех тонкостях A/B-тестирования. Подойдёт всем, кто хочет разобраться в A/B-тестировании без погружения в программирование и математическую статистику. Чему Вы научитесь: 1. Разрабатывать оптимальный дизайн онлайн и офлайн экспериментов 2. Применять современные методы повышения чувствительности A/B-тестов 3. Проверять гипотезы со сложными метриками, для которых стандартные тесты не работают 4. Проводить множество экспериментов параллельно Какие задачи будем решать: 1. Дизайн эксперимента Разработчики провели рефакторинг кода и подготовили обновление бэкенда сайта. Ожидается, что новая версия будет более надёжной и масштабируемой. Подготовь дизайн эксперимента для проверки скорости ответа бэкенда на запросы клиентов. 2. Анализ метрики отношений Менеджеры хотят заменить транспорт курьеров, чтобы ускорить доставку. В качестве метрики будем использовать среднее время доставки, для которой обычные тесты не работают. Выбери подходящий метод и проанализируй полученные результаты. 3. Чувствительные тесты Есть несколько гипотез, которые вряд ли сильно повлияют на наши метрики, но даже небольшие улучшения для нас важны. Попробуй с помощью разных методов повысить чувствительность тестов, чтобы они могли замечать маленькие эффекты. 4. Множественное тестирование У нас накопилось очень много гипотез, но проверять их отдельно слишком долго. Придумай, как запустить несколько экспериментов одновременно, иначе мы до них никогда не доберёмся. ПРОГРАММА КУРСА :// Представьте, что вы устроились аналитиком в пиццерию, которая активно переходит в онлайн и проводит эксперименты для повышения качества сервиса. Вам предстоит определить, какая версия сайта работает лучше, что изменилось после рефакторинга бэкенда и удалось ли отделу логистики ускорить доставку. Модуль 1 - Основы статистики Изучим основы статистики, которых будет достаточно для прохождения курса. Модуль 2 - Знакомство с платформой A/B-тестирования В первый рабочий день в новой компании познакомимся с данными и платформой А/B-тестирования. Выдвинем гипотезы, оценим результаты первого эксперимента. Модуль 3 - Проверка гипотез Узнаем, как появилась идея проверять гипотезы. Создадим собственный критерий принятия решений. Рассмотрим популярные критерии для типичных метрик и поговорим об их ограничениях. Модуль 4 - Дизайн эксперимента Научимся подбирать оптимальные параметры для запуска эксперимента: продолжительность, размер выборки и минимальный эффект, который возможно обнаружить. Узнаем, зачем нужно проводить синтетические A/A- и A/B-эксперименты на исторических данных. Модуль 5 - Доверительные интервалы Познакомимся с методом бутстрэп. Научимся строить доверительные интервалы для произвольных метрик и узнаем, как принимать решения на основе доверительных интервалов. Модуль 6 - Повышение чувствительности тестов Рассмотрим актуальные способы повышения чувствительности A/B-тестов и применим их на практике. Научимся сокращать размер выборки, необходимый для проведения эксперимента. Модуль 7 - Выбор метрик Выбрать метрику для эксперимента не всегда просто. Разберёмся, какие бывают метрики, научимся выбирать наиболее подходящие для эксперимента и узнаем, как отслеживать «здоровье» A/B-теста. Модуль 8 - Cuped и стратификация Научимся применять Cuped и стратификацию — продвинутые методы повышения чувствительности A/B-тестов, основанные на использовании дополнительной информации. Модуль 9 - Множественное тестирование Когда гипотез слишком много, нам может не хватить наблюдений, чтобы проверить их все одновременно. Познакомимся с техниками множественного тестирования и одновременным проведением большого числа экспериментов. Модуль 10 - Анализ метрик отношения При проверке гипотез о равенстве метрик отношения (например, CTR) обычные тесты применять некорректно, так как наблюдения не являются независимыми. Изучим подходы для проверки таких гипотез и закрепим новые знания на практике.