аналитика на кубах Telegram Gönderileri

Прочитал недавно вышедшую “Как делать хорошие игры. От идеи до запуска” Петра Прохоренко, ветерана российского геймдева («Сталинград», «Блицкриг 3», «Танки Онлайн», «Days after» и т. д.)

Небольшая, очень практическая книжка, битком набитая как рекомендациями, так и просто примерами из опыта и байками. В девяти главах рассматривается путь от идеи игры, придумывания геймплея и препродакшена (Петр предлагает свою методологию) до сбора команды, управлениями проектом и пивотов. Есть даже история проекта Days After, как пример тезисов из прочих глав.

Мне понравилось. Несмотря на фразу “донатные помойки” на первых страницах и общую разговорную манеру текста. Отрезвляющие рекомендации типа “внимательно изучайте, во что хотят играть пользователи”, “не делайте игру на свои [последние] деньги”, “осторожнее с экспериментальным геймплеем” и тому подобное. Ну и в целом легализация пивотов, гемдизовских и менеджерских факапов и прочих случающихся вещей в нашей жизни. Вообще, книга местами правда похожа на разбор полетов, как автор и говорит в интервью App2Top.

По аналитике там практически ничего нет, но прочитать полезно для понимания специфики индустрии и развития эмпатии к продюсерам и их повседневному аду.

#books

И еще один интересный отчет, теперь от GameAnalytics. Кажется, они решили возобновить свои ежегодные отчеты, чему я рад — последний подобный отчет от них я видел в 2018 году. Отчет посвящен бенчмаркам базовых метрик типа ретеншена, длины и количества сессий, плюс разбивка по регионам и жанрам. Жаль, что нет ничего про FTUE.

Мне интереснее всего ретеншен. И первое, что бросается в глаза — у топ25% Android-проектов D1 retention rate в 2023 году был на уровне 28-29%, к 2024 году сполз до 25%-27%. Медианные проекты вообще в районе 17-18% болтаются. К слову, жанр Action в этом смысле как раз вполне типовой, выше него согласно отчету казуальные игры, а ниже — адвентюры.

К отчету надо относиться с некоторой осторожностью — данные взяты по 11.5к+ игр в 16 жанрах, где интегрирован Game Analytics. То есть, выборка изначально несколько искажена. Например, я по знакомым проектам не слышал, чтобы кто-то их устанавливал, а пару раз вроде даже слышал отзывы, что аналитика в сервисе может привирать.

Тем не менее, бенчи тут ловить можно, пусть и с оговорками. Тренды — тем более. Ну и ответы на вечнозеленые вопросы вида “а как влияют Новый Год / Рождество / 1 сентября и школа” на метрики.

Недавно мне предложили рассказать продактам одного стартапа что-нибудь интересное про поведение пользователей. И причем тут может быть продуктовая аналитика.

Вот, например, два схожих примера — в одном проекте продакты заметили, что пользователи с никнеймом платят больше. А в совершенно другом проекте — если пользователь прошел аутентификацию, то он больше платит. И им показалось логичным (sic!), что надо бы пользователей обязать создавать никнеймы / проходить аутентификацию.

Естественно, это не повысит платежи. Потому что тут есть латентный фактор, который мы не наблюдаем прямо, но можем предполагать — лояльность. Пользователь лоялен продукту и поэтому прошел аутентификацию / создал никнейм, это наблюдаемые маркеры лояльности. Пользователь лоялен и поэтому больше платит.

То есть мало увидеть связку никнейм ~ платежи, надо еще задуматься, что это не причинная связь, что может быть что-то еще. Что-то, что мы не наблюдаем, но что делает возможной эту взаимосвязь. И что это “что-то” лежит в области мотивации, эмоций и прочей личностной сферы пользователя.

И я не знаю, как этому научить.

Valve ищет психологов для проведения экспериментов/исследований.

В описании задач — создание новых геймплейных механик (я не знал, что у Valve есть свои игры), исследование пользователей Steam, изучение новых технологий железа, улучшение методов плейтестов и тому подобное. В требованиях — психологическое или рядом образование, знание экспериментальной психологии, статистики и языков программирования (such as C++, Python, SQL, and PHP). @coglebed го?

В общем, ничего не понятно, но очень интересно. Притом, кажется, это уже не первый раз, когда они ищут такого человека.

upd: я плохо знаю PC и консольные игры, простите %)

Смотрю на фичи недавнего релиза одного из новых проектов. Там, среди прочего, добавили квесты. Квесты традиционно считаются способом создания среднесрочных целей пользователя, поэтому ждали изменения в ретеншене 3-7 и далее дней.

Естественно, чтобы оценить влияние на рет, в идеальных условиях надо делать A/B-тест. В реальности же это потребует больших изменений в интерфейсе и экономике. В общем, новый билд. Конечно, можно выкладывать новый билд и открывать на половину аудитории, этакая “сплитовалка для бедных”, но мороки с этим тоже хватает. Не говоря уже о том, что прочие фичи релиза тоже делать надо.

В общем, я уже собрался искать похожих пользователей, кто завершал квесты и кто не завершал квесты, чтобы по ним сравнить удержание. Умные люди это вроде называют propensity score matching. А потом просто посмотрел ретеншен новой версии в сравнении с предыдущей. И не нашел каких-либо сильных отличий. Других фич на удержание не было, а мелкие колебания не так интересны.

Как итог — делать матчинг бессмысленно, квесты не работают, печаль и расстройство.

Во вторник послушал стрим Ильи Красинского на канале Юры Борзило. Вот тут есть запись.

Говорили про конверсию и то, что обычно она не в фокусе продактов, про текучку продактов и деградацию со временем процессов и культуры в кампаниях, про аб-тесты конверсии. Когда пошел технический разговор про лендинги, iframes и прочие тонкости веб-аналитики, я отвалился. В последний раз я веб-аналитику трогал больше десяти лет назад, когда работал с сайтом Консультант+, и больше не хочу.

Не могу сказать, что для меня стрим был интересным. Разве что Красинского да байки из другого мира послушать. Но комментарии в чате были любопытные. Например, мне очень понравилась фраза: “АБ тесты не про проверку гипотез, а про защиту прода от ошибочных гипотез”. Хороший акцент, полезный.

Комментарий по задаче про прокачку заклинаний.

В комментариях было много идей. Расскажу, на что я обратил внимание.

Есть всякая мелочь — ломаные линии на поздних уровнях, обычно это из-за небольшого количества пользователей. Синий спелл похож на имбу — сильно и быстро растет, надо смотреть, насколько он популярен у пользователей. Возможно, надо будет нерфить.

Но самое важное — то, что линия голубого спелла загибается и идет вниз на поздних уровнях. Выглядит странно, так как при нормальном ходе событий, когда пользователи прокачивают заклинания, линия должна быть монотонной / неубывающей.

Такое возможно, если у тех пользователей, кто играет на поздних уровнях, голубой спелл прокачан слабо / не прокачан. И тут вопрос, а что стало с теми, у кого этот спелл прокачан сильно? Вероятно, они отвалились или просто медленнее и тяжелее идут по уровням, потому что этот спелл оказался неэффективен, а ресурсы на его прокачку потрачены.

Дальше уже надо проверять эту гипотезу и разговаривать с геймдизайнерами и, может быть, делать это заклинание сильнее.

Праздники закончились, надо возвращаться к работе.

Вот вам небольшая задачка, прям из рабочих дашбордов меты. На графике — прокачка двух спеллов по игровым уровням/этапам (уровни как в Homescapes или Archero).

По оси OX — номер уровня. По оси OY — средний уровень прокачки заклинания в мете у тех пользователей, кто играл на этом уровне/этапе.

Собственно, вопрос. Что вы видите на этом графике?

Мо комментарий сегодня вечером или завтра днем.

#exercises

Что ж, прошел еще один год. Писал немного, но вроде бы регулярно. Сделал меньше, чем хотелось, зато есть что попробовать и показать в следующем году. Вперед и вверх, как завещали классики.

Спасибо, что читаете и комментируете.

С новым годом вас.

Наконец-то дочитал-долистал Games User Research by Anders Drachen, Pejman Mirza-Babaei, Lennart Nacke (Eds). Много страниц, отличная бумага и полиграфия, прям очень хорошая структура и оформление. Oxford University Press, как никак.

Книга — сборник статей большого количества авторов. Часть авторов имеют отношение к геймдеву — работали в Ubisoft, EA, Paradox Interactive, Sony Playstation. Другие — академические исследователи (в том числе HCI) или просто исследователи-практики из специализированных агентств.

Все статьи организованы в три части. Первая больше про организацию процесса — как могут быть устроены UX-исследователи в геймдев-командах и как выглядят процессы с их участием; уровни зрелости UX-исследований; как должна выглядеть лаборатория для проведения исследований.

Вторая часть посвящена методам. Это самая большая часть книги, почти половина от общего объема. И здесь полное разнообразие — короткие интро в опросы, пользовательские интервью, RITE подход, think-aloud метод, особенности исследования playability. Есть пара статей, которые посвящены сбору биометрических данных (вплоть до миографии и энцефалографии). Последняя статья части вообще про аналитику и данные, и их сочетание с user research методами.

Третья часть более разнородная по содержанию. Тут и кейс-стади (Dissecting Dragon: GUR for Dragon Age: Inquisition, например), и рекомендации по проведению исследований маленьким студиям, и некоторые обзоры методов и подходов (Social network analysis, Virtual reality) и так далее.

Из неочевидных, но порадовавших меня вещей — достаточно много внимания уделяется мелким деталям. Как может быть расставлена мебель и комнаты в лаборатории, что писать респондентам, какие могут быть нюансы в опросах и прочие практические мелочи, с которыми сталкивается каждый, кто начинает делать исследования.

В общем, книга отличная. И введение в методы, и в ResearchOps, и практические детали, и фокус на доменной области очень четко выдерживается. Цветные иллюстрации и хорошая бумага тоже оставляют приятное впечатление. Конечно, есть и некоторые недостатки — книга выпущена в 2018 году, писать ее начали в 2016 году. И как со всеми сборниками статей, во многих статьях есть перекликающиеся темы (например, про рекрут респондентов). Но это все вполне нивелируется содержанием.

#books