Отчёт по новой игровой механике: участники покупают на 40% чаще, средний чек выше на 15%, удержание лучше. Команда празднует, бюджет на призы удваивают. Через полгода финансовый директор спрашивает, почему выручка компании не выросла. Ответ почти всегда один: участниками стали те, кто и так был самым активным. Игра не изменила их поведение — она просто собрала их в одну группу.
Эффект отбора
В игровые механики, программы лояльности и челленджи вступают не случайные люди, а самые вовлечённые: те, кто часто заходит, много покупает и любит бренд. Сравнивать их с теми, кто не вступил, — всё равно что сравнивать посетителей спортзала с остальными и делать вывод, что абонемент делает людей стройнее.
Разница между участниками и неучастниками складывается из двух частей: того, что механика действительно изменила, и того, что изначально вступили другие люди. Без правильного дизайна измерения их не разделить.
Как мерить правильно
Надёжнее всего — контрольная группа: случайная часть аудитории, которой механику не показывают. Сравнивать нужно всех, кому механику показали, со всей контрольной группой, а не участников с неучастниками. Тогда отбор исчезает: в обеих группах одинаковая смесь активных и пассивных клиентов.
Если скрыть механику от части пользователей нельзя — например, в офлайн-магазинах, — её запускают в одних регионах или точках и сравнивают с похожими контрольными.
Сравнение «до и после» — самый слабый вариант: на результат влияют сезон, акции, реклама. Использовать его можно, но с поправками и осторожными выводами.
Что входит в расчёт
Дополнительная выручка и маржа — разница между тестовой и контрольной группами в пересчёте на всех пользователей. Стоимость механики целиком: призы, бонусы, скидки, разработка, поддержка, маркетинг запуска. Эффект после окончания — держится ли разница через месяц-два или всё возвращается назад. И каннибализация: не купили ли люди сейчас то, что всё равно купили бы через месяц.
Окупаемость — это дополнительная маржа минус стоимость механики. Не выручка участников, не DAU и не число вращений колеса.
Как ошибаются в отчётах
Показывают метрики активности вместо денег: заходы, игровые сессии, выполненные задания. Приписывают игре покупки по последнему касанию, хотя человек пришёл бы и так. Смотрят на первые недели, когда механика ещё на пике, и не ждут затухания. Забывают про стоимость призов, особенно если призы — бонусы, которые учитываются как «будущая скидка», а не как расход.
Что обычно окупается
Чаще окупаются механики, которые меняют поведение средних клиентов — тех, кто покупает время от времени и мог бы покупать чаще. Механики, которые в основном награждают и так лояльных, почти всегда уходят в минус: они оплачивают уже существующую привычку.
Поэтому полезно смотреть эффект по сегментам. Видно, где механика действительно сдвинула поведение, а где просто раздала призы, — и становится понятно, как перенастроить её на следующий цикл.
Любая игровая механика выглядит успешной, если сравнивать участников с неучастниками. Честный ответ про окупаемость дают только контрольная группа, дополнительная маржа и горизонт, который захватывает время после конца акции. Этой статьёй я завершаю серию про игровые механики в e-commerce. Связка геймификации с LTV и CAC подробнее разобрана в статье про экономику геймификации.
