Данная работа была выполнена в рамках курса Симулятор Аналитика от Karpov Courses.
В данной работе проводилось A/B тестирование CTR пользователей, где в тестовой группе был использован новый алгоритм рекомендации постов.
Для начала, чтобы убедиться, что система сплитования на группы была сделана корректно, было проведено A/A тестирование с помощью множественного извлечения подвыборок из контрольной и тестовой групп. Результаты A/A тестирования показали, что при уровне значимости 0.05 (ошибка I рода) сплитование пользователей на группы прошло корректно.
В ходе A/B тестирования были применены t-тест Стьюдента и тест Манна-Уитни для сравнения поюзерного CTR в группах. Также было произведено сглаживание по Лапласу, чтобы учесть пользователей с низким числом просмотров. Такое сглаживание позволило установить стат. значимое различие между группами. Также для проверки гипотезы было проведено сравнение общегруппового (глобального) CTR с помощью Пуассоновского бустрапа и бакетного преобразования. Данные методы также позволили обнаружить стат. значимое различие в группах.
Линеаризация целевой метрики позволила повысить её чувствительность, что показывает уменьшение значения p-value.
A_A_test.ipynb - содержит код и выводы для A/A тестирования
A_B_test.ipynb - содержит код и выводы для A/B тестирования
Linearized_CTR.ipynb - содержит код и выводы для A/B тестирования с применением линеаризованной метрики