Когда падение удержания видно на графике когорт, люди уже ушли. Кривая показывает итог, а не причину и не момент, когда всё пошло не так. Задача, которую имеет смысл ставить перед AI, другая: найти в поведении ранние сигналы, по которым видно, что человек собирается уйти, пока его ещё можно удержать.
Почему классическая аналитика опаздывает
Стандартные отчёты устроены вокруг средних и событий. Среднее время в сессии, доля дошедших до шага, процент вернувшихся. Отток в них проявляется поздно, потому что уход — это не событие, а процесс: человек сначала реже заходит, потом перестаёт пользоваться одной функцией, потом отключает уведомления, и только потом исчезает.
Аналитик может найти такие закономерности вручную, если знает, что искать. Модель может перебрать тысячи сочетаний признаков и подсказать, какие из них чаще всего предшествуют уходу.
Что AI делает на самом деле
В основе обычно модель, которая по истории поведения предсказывает вероятность того, что пользователь перестанет быть активным в ближайший период. Признаки — частота заходов и её изменение, использование ключевых функций, ошибки и обращения в поддержку, реакция на уведомления, платежи, изменения настроек.
Сама вероятность мало что даёт. Полезнее объяснение: какие признаки сильнее всего связаны с уходом. Например, может оказаться, что пользователи, которые за первую неделю не настроили интеграцию, уходят втрое чаще. Или что резкое падение частоты после третьего месяца предшествует отмене подписки.
Сюда же относится анализ текстов: отзывов, обращений в поддержку, ответов на опросы. Языковые модели помогают группировать жалобы по темам и находить, какие проблемы чаще упоминают перед уходом.
Сигнал без действия бесполезен
Самая частая ошибка — построить точную модель и ничего с ней не сделать. Список «пользователей с высоким риском» сам по себе никого не удерживает.
Ценность появляется, когда каждый сильный сигнал связан с продуктовым ответом. Не настроил интеграцию — помощь с настройкой. Перестал пользоваться ключевой функцией — подсказка или разговор о том, что не так. Упал в частоте после изменения цены — пересмотр тарифа.
И второе: часть сигналов указывает на проблему продукта, а вовсе не на конкретных людей. Если уходят все, кто столкнулся с ошибкой оплаты, нужно чинить оплату, а не отправлять им письма.
Корреляция — не причина
Модель находит связь, но не доказывает, что одно вызывает другое. Пользователи, которые настроили интеграцию, остаются чаще — но, возможно, потому что они изначально серьёзнее настроены, а не потому что интеграция их удерживает. Если заставить всех её настроить, эффекта может не быть.
Поэтому находки модели — это гипотезы. Проверять их нужно экспериментом: одной группе помогаем с интеграцией, другой нет, сравниваем удержание.
С чего начать
Договориться, что считается оттоком. Для подписки это отмена, для бесплатного продукта — отсутствие активности в течение периода, который зависит от естественного ритма использования.
Собрать данные о поведении в разрезе пользователя и времени. Без чистой истории событий модель будет учиться на шуме.
Начать с простого. Часто логистическая регрессия или дерево решений дают понятные ответы быстрее сложных моделей, а для продуктовых решений понятность важнее пары процентов точности.
Связать сигналы с действиями и проверить их в эксперименте. Модель, которая не меняет ни одного решения команды, — дорогая игрушка.
Следить за качеством со временем. Продукт меняется, аудитория меняется, и признаки, которые работали полгода назад, могут перестать работать.
Как связать удержание с деньгами и понять, сколько стоит каждый процент оттока, я разбирал в статье про экономику геймификации, а как не перепутать механики удержания и вовлечения — в материале «Механики вовлечения vs удержания».