STRUCTUREцифровые системыОбсудить проект
НОВОСТЬ · Engineering

Ситидрайв, Т-Банк и Wildberries разобрали, как измерять реальный эффект продуктовых изменений

Команды трёх цифровых сервисов поделились практиками продуктовой аналитики: расчётом отдачи от скидок, проверкой полезности функций и оценкой изменений без обычного A/B-теста. Ситидрайв опубликовал материалы встречи, прошедшей в октябре.

Иллюстрация из открытой ленты Habr

Главное

Ситидрайв собрал аналитиков, продуктовых специалистов и маркетологов, чтобы обсудить разницу между красивыми цифрами в отчёте и действительной пользой для бизнеса. На мероприятии были представлены выступления команд Ситидрайва, Т-Банка и Wildberries. Публикация от 20 ноября содержит ссылки на записи докладов; сама встреча состоялась раньше, в октябре. Поэтому речь идёт об открытии доступа к практическим разборам, а не об объявлении новых функций этих сервисов.

Первый разбор посвящён скидкам и программам лояльности. Дарья Родионова и Александр Антепа из Ситидрайва предложили смотреть не на число использованных бонусов, а на дополнительные деньги, которые механика действительно приносит. Главная аналитическая сложность здесь — отделить эффект стимула от поведения клиентов, готовых совершать поездки и без него. Без такого сравнения активная аудитория может создавать видимость удачной акции, даже если дополнительная прибыль невелика.

Подробности

Т-Банк поднял другую проблему: продуктовый показатель способен расти без улучшения того, зачем пользователь вообще пришёл в приложение. Егор Хорев рассказал о привязке экспериментов к конкретным пользовательским задачам. Суть подхода — сначала сформулировать ожидаемое полезное изменение в поведении человека, а уже затем выбирать измерение и проверять гипотезу. Это помогает не перепутать успех интерфейсного элемента с успехом всей продуктовой функции.

Третий доклад касается ситуаций, когда традиционное распределение пользователей по случайным тестовым группам недоступно. Платон Попов из Wildberries сравнил Propensity Score Matching и Double Machine Learning на примере оценки рекламы в пунктах выдачи заказов. Авторы обсуждали ограничения сопоставления наблюдаемых групп и способы учитывать различия между ними. В описанном кейсе команда сочла DML более подходящим инструментом, но это не универсальное доказательство превосходства метода для любого эксперимента.

Что это меняет

Общий вывод встречи связан с качеством причинно-следственной оценки. Решение о скидке, подписке или новой возможности требует понимания, что изменилось именно из-за вмешательства, а не совпало с сезонностью или особенностями аудитории. Публикация полезна тем, что показывает три разных способа постановки вопроса и оставляет возможность посмотреть исходные выступления. Конкретные результаты и методы стоит оценивать с учётом устройства собственного сервиса, а не переносить их механически.

Первоисточник

Материал подготовлен STRUCTURE по открытой публикации Habr. Текст и иллюстрации первоисточника не воспроизводятся целиком.

Читать исходную новость целиком ↗