Введение.
Машинное обучение уже довольно прочно укрепилось в современном обществе. Уже на протяжении многих лет с помощью машинного обучения решаются все новые и новые задачи, и эта область науки постоянно развивается и расширяет зоны своего применения. Одной из таких областей в последнее время стала игровая индустрия. Машинное обучение в ней применяется практические повсеместно – это и плейтестинг, и разработка ботов, и генерация окружения, и более глубокая персонализация персонажей, а так же многие другие области. В этом обзоре я выберу лишь несколько популярных областей применения машинного обучения в разработке игр и постараюсь рассказать о них чуть подробнее.
Разработка игр.
Итак, любая игра начинается, что логично, с ее разработки. Это долгий, сложный и очень интересный процесс. Но сейчас я бы хотел упомянуть о такой его части, как балансировка стратегий. Для создания качественного игрового процесса гейм-дизайнеры обычно настраивают баланс игры итеративно:
1. Выполняют нагрузочный тест тысячами плейтестинговых сессий, в которых участвуют тестеры
2. Учитывают их отзывы и изменяют дизайн игры
3. Повторяют этапы 1 и 2, пока результатом не будут довольны и тестеры,
и гейм-дизайнеры.
Этот процесс особо важен в многопользовательских онлайн-играх. Их огромная популярность существенно повысила требования к гейм- дизайнерам, игроки ожидают, что игры будут сбалансированными и отшлифованными, ведь нет никакого интереса играть, если одна стратегия побеждает все остальные. Да, балансировка таких игр не только занимает много времени, но и неидеален — чем сложнее игра, тем проще
незначительным недосмотрам привести к дисбалансу. Когда в играх есть множество различных ролей с десятками взаимосвязанных навыков, всё это сильно усложняет нахождение нужного баланса. И вот, в процессе разработки цифровой карточной игрыChimeraразработчики пришли к мысли – почему бы не заменить плейтестеров на обученные модели машинного обучения? И в итоге, проведя при помощи обученных агентов миллионы симуляций с целью сбора данных, теперь эта методика тестирования игр на основе ML позволяет гейм-дизайнерам гораздо эффективнее балансировать игры и тем самым повышать их узнаваемость и вовлеченность игроков.
Разработчики использовали методику, в которых свёрточная нейронная сеть обучается прогнозировать вероятность выигрыша в произвольном игровом состоянии. Немного обучив модель на играх, где выбирались случайные ходы, мы заставили агентов играть друг против друга, итеративно собирая игровые данные, которые затем использовались для обучения нового агента. С каждой итерацией качество данных обучения улучшалось, как и способность агента играть. Такая методика позволила авторам игры симулировать на миллионы игр больше, чем способны сыграть живые игроки за тот же промежуток времени. После сбора данных из игр, сыгранных наиболее эффективными агентами, разработчики проанализировали результаты, чтобы найти и ликвидировать дисбаланс между двумя спроектированными ими колодами игроков.
Геймплей
Еще одной популярной областью применения машинного обучения в игровой индустрии является геймплей – то есть то, как, по сути, проходит игровой процесс. Машинное обучение в геймплее оптимизирует игру на основе её восприятия конкретным игроком и помогает решить уйму задач, включая настройку игрового баланса и адаптивное управление сложностью в зависимости от уровня игрока.
Машинное обучение помогает оптимизировать физические модели, улучшать системы диалогов. Диалоги главного героя с персонажами игры становятся более глубокими, благодаря чему между игроком и игрой устанавливается более прочная эмоциональная связь. Для того, чтобы сделать её еще сильнее, можно внедрить в игру персонализованную систему аватаров, которые будут похожи на своих владельцев как в плане внешности, так и в психологическом плане.
Таким образом, игры анализируют своих пользователей на протяжении очень долгого времени и обучаются на их данных. И вот здесь мы можем плавно перейти к еще одной области применения машинного обучения – к игровому бизнесу.
Машинное обучение в игровом бизнесе
Сейчас игровой бизнес переживает небывалый подъем. Область цифровых игр еще моложе области искуственного интеллекта, но, естественно, без его применения она не обходится. Так, машинное обучение может серьезно расширить платежеспособную аудиторию игры. Этого можно добиться с помощью базирующегося на технологии машинного обучения таргетингаlook-alike, который уже используется в рекламных сетях. Его суть состоит в том, что алгоритмы изучают аудиторию, находят общие черты
людей и паттерны их поведения, а потом на основе этих данных формируются пользовательские сегменты.
Как это использовать для увеличения дохода в играх?
Пример: алгоритм определяет общие черты людей, проводящих в игре больше всего времени и тратящих на неё деньги. Затем эту информацию можно загрузить в рекламный сервис в качестве таргетинга, чтобы найти людей с такими же характеристиками. Такие игроки с большей вероятностью будут играть долго и тратить деньги. Тем самым можно оптимизировать затраты на рекламу, повысив её эффективность. Оговорюсь, что в примере выше речь идет об ML, скрытом внутри рекламных сетей, а не непосредственно игры.
При анализе поведения игрока алгоритмы машинного обучения могут увидеть первые признаки того, что он собирается уйти из игры.
Например, система фиксирует, что игрока слишком часто убивают, он заходит в игру всё реже и проводит в ней всё меньше времени. Это может быть признаком того, что он разочаровывается в проекте и скоро уйдет окончательно. Чтобы возродить интерес, система может предложить игроку дополнительные уровни, понизит сложность, предоставит подарки или новый функционал. Это важно: удержать существующего игрока дешевле, чем привлечь нового. Кстати говоря, возможно, проблема здесь не в игроке, а в концепции игры, но за это будет отвечать уже другая система машинного обучения, о которой я говорил ранее.
И, конечно же, машинное обучение помогает игровым компаниям бороться с мошенниками. Одна из основных проблем продвижения любых мобильных приложений – это поддельные установки и «мусорный» трафик. Как правило, приложения продвигаются по CPI-модели, при которой разработчик платит
за каждую установку. Мошенники даже строят целые «фермы» из устройств, чтобы накручивать установки.
Всё это обходится индустрии мобильных игр в миллиарды долларов ежегодно. В одном из исследований говорится, что к 2025 году мошенники будут стоить разработчикам приложений $50 млрд в год.
Алгоритмы машинного обучения могут анализировать мошенническую активность, обучаясь вычислять её и блокировать оплату за поддельные установки. Тем самым они сэкономят разработчикам на рекламе миллионы или даже миллиарды долларов.
Заключение
В заключение хотелось бы сказать, что смесь двух передовых областей – разработки игр и машинного обучения – дает невероятные результаты, приятные как для разработчиков, так и для игроков. Разработчики получают в свое распоряжении гораздо более эффективные средства разработки, в разы уменьшая количество человеко-часов, затрачиваемых на тот или иной аспект создания игры, а игроки – абсолютно новые ощущения, без применения машинного обучения абсолютно невозможные.