На некоторых устройствах под управлением Android загрузка Brawl Stars раньше занимала около 35 секунд.
Это не очень приятное число, когда типичный матч длится около трех минут. Brawl Stars создана для быстрых сессий, в которые играют в небольшие промежутки времени в течение дня. Если запуск игры занимает 35 секунд, эти маленькие промежутки начинают исчезать. Игра становится менее спонтанной, менее частой и от нее легче отказаться.
Как выразился Дамьен Мабин (Damien Mabin), разработчик игр в Brawl Stars: «В туалете особо не поиграешь». Данные показали, что игроки на Android открывали игру реже, но зато дольше оставались в ней после запуска. На iOS, где время загрузки было короче, игроки заходили и выходили гораздо свободнее. Время загрузки стало определять, когда люди могут играть.
Загрузка, ожидание, загрузка, ожидание
Толчком к поиску этих дополнительных секунд стала одна рекламная кампания.
Brawl Stars была перезапущена в Бразилии, где многие игроки используют более старые устройства Android. Производительность и время загрузки имели значение. И когда команда присмотрелась внимательнее, масштаб проблемы стал очевиден.
Игра тормозила не из-за какого-то одного грандиозного сбоя. В серверной комнате не было злодея. Процесс загрузки со временем просто превратился в нечто слишком последовательное для нужд игры.
Brawl Stars загружает множество ассетов, прежде чем игрок попадает в игру. Файлы пользовательского интерфейса. Текстуры. Звуки. 3D-модели. Данные анимации. Некоторые из этих ассетов зависят друг от друга. Файл пользовательского интерфейса может описывать кнопку, но текстуру для этой кнопки все равно нужно загрузить. С экраном может быть связан звук. Персонажу могут потребоваться его модель, анимация и эффекты, прежде чем он сможет появиться должным образом.
Старая система выполняла слишком много из этого последовательно, шаг за шагом.
«По сути, это было: загрузка, ожидание, загрузка, ожидание, — говорит Дамьен. — И эта логика была разбросана по всей кодовой базе, немного напоминая спагетти».
Первой задачей было не ускорение экрана загрузки. А выяснение того, почему он вообще работал медленно. Команде пришлось составить карту всех зависимостей между ассетами: что должно загружаться раньше чего, что может происходить одновременно и что выглядело зависимым лишь потому, что никто не ставил это под сомнение в течение долгого времени.
Появляется Titan
Здесь в дело вступает Titan.
Titan — наш внутренний игровой движок. На нем работает каждая игра Supercell, и он включает в себя инструменты редактора, используемые художниками, дизайнерами и разработчиками. Некоторые части являются общими для всех игр. Некоторые части созданы специально для конкретной игры. Это не аккуратный коммерческий продукт, который был создан один раз и передан командам. Это лоскутное одеяло, выросшее из игр и функций, которые создавались, копировались, адаптировались, объединялись и переиспользовались на протяжении многих лет.
«Все начиналось как игровой код», — говорит Эли Таттевен-Древэ (Elie Tattevin-Drevet), разработчик игр в mo.co. На заре существования Supercell у каждой команды разработчиков была своя кодовая база. Поскольку команды буквально копировали и вставляли один и тот же код из одной игры в другую, Supercell начала объединять эти общие части в один внутренний движок. Этот общий движок стал называться Titan».
Эта история отражена в движке. Некоторые системы были созданы на скорую руку для одной игры, а затем стали использоваться гораздо шире, чем кто-либо ожидал. Некоторые части отполированы. Другие несут в себе баги, устаревшие предположения или дизайнерские решения, которые имели смысл в то время, но теперь замедляют работу.
Плюс в том, что к нему есть доступ. Поскольку Titan — это наш собственный движок, игровые команды могут заходить в зависящие от них системы и менять их. В данном случае это означало изменение самой системы загрузки вместо создания обходных путей вокруг нее.
Но Titan — это не просто место, куда игровые команды могут глубоко погрузиться при необходимости. Существует также специализированная команда Titan, которая делает эти общие системы более надежными, безопасными и полезными для всех игр Supercell. Это важно, потому что такая работа не должна замыкаться внутри одной команды разработчиков. Когда одна команда решает сложную проблему в Titan, движок становится лучше для всех, кто создает игры на его основе.
Заставить игру делать несколько дел одновременно
Именно так команда смогла внести правильные изменения в игру. Сделать так, чтобы загрузка больше не воспринималась как одна длинная очередь, где каждый ассет вежливо ждет своей очереди.
Команда разделила процесс загрузки на более мелкие задачи: загрузить этот звук, загрузить этот файл интерфейса, загрузить эту текстуру, загрузить эту модель. Вместо того чтобы выполнять эти задачи по одному преимущественно последовательному пути, Titan мог поместить их в общую очередь и позволить нескольким рабочим потокам обрабатывать их одновременно, если это позволяли зависимости ассетов.
«Технически идея проста, — говорит Дамьен. — Вы создаете задачи, помещаете их в очередь, а затем несколько потоков подхватывают их и обрабатывают параллельно».
Самым сложным было решить, что можно безопасно запускать параллельно. Некоторые ассеты все равно должны были ждать других. Экрану загрузки нужны определенные файлы, прежде чем он сможет появиться. Главному меню нужны другие. Но большая часть работы, которая раньше выполнялась шаг за шагом, теперь могла происходить одновременно.
Игра также должна подключаться к серверу во всем этом процессе. Сообщения сервера могут приходить до того, как ассеты, необходимые для их обработки, будут готовы. Раньше это могло привести к сбою игры. Поэтому команда создала буфер: сообщения поступают, попадают в очередь и обрабатываются только тогда, когда игра готова к ним.
Здесь и проявилось владение собственным движком. Команде не пришлось обходить систему загрузки стороной. Они смогли ее изменить.
С 35 до 5
Первые результаты были разительными.
На старых устройствах Android время загрузки сократилось с примерно 35 секунд до пяти или шести. На новых устройствах iOS оно уменьшилось с примерно семи секунд до примерно двух с половиной.
Успех! Но это породило новую, немного нелепую проблему.
Анимация логотипа Supercell при запуске длится около 2,8 секунды. Теперь игра иногда бывала готова еще до того, как логотип успевал доиграть.
«Экран загрузки игры больше не отображался, — говорит Дамьен. — Игроки чувствовали, что что-то сломалось, и начинали отправлять нам отчеты об ошибках».
В конце концов команда изменила ход процесса так, чтобы логотип Supercell появлялся только один раз в день. После этого игра стала открываться быстрее. Лучшим отзывом о пользовательском интерфейсе в данном случае была в основном тишина.
«Если что-то работает хорошо, люди обычно этого не замечают», — говорит Дамьен.
Однако сбои они все-таки заметили.
Не волшебный переключатель
Перенос загрузки в параллельный режим привел к состоянию гонки — распространенной проблеме в многопоточных системах, когда разные части работы могут завершаться в неожиданном порядке. Иногда один поток ждал ресурс А, пока другой ждал ресурс Б, и оба зависели от того, что другой завершится первым.
Эти проблемы проявлялись двумя способами. Иногда игра зависала. Иногда загрузка просто останавливалась, что было хуже, так как оставляло меньше очевидных улик.
«Это не сбой, поэтому, если вы не обратите на это внимание, вы не совсем понимаете, что происходит», — говорит Дамьен.
Команда добавила аналитику для обнаружения мест зависания загрузки. Они искали моменты, когда прогресс останавливался, даже если не появлялось никаких отчетов об ошибках. После первого релиза наблюдался всплеск сбоев. Команды Brawl и Titan потратили следующие несколько дней на их устранение.
Для игроков вылет означает, что игра не просто кажется медленной. Она ломается. Для команды разработчиков это означает необходимость принять изменения, которые должны были облегчить запуск Brawl Stars, а затем убедиться, что они не создали более серьезную причину для ухода игроков.
Этот риск осознавали с самого начала. «Мы знали, что столкнемся с вылетами и нестабильностью», — говорит он.
Команда Brawl Stars была готова пойти на этот риск, потому что потенциальная выгода была очевидна. Другая команда могла бы принять другое решение в зависимости от того, что нужно ее игре в данный момент. Но для любой команды, желающей использовать аналогичный подход, теперь есть необходимая база.
Работа над загрузкой заняла около четырех месяцев в общей сложности: реализация, стабилизация, исправление вылетов и подготовка к производственной среде.
Что изменилось для игроков
Очевидным результатом стала скорость. Но более интересным результатом стало поведение.
После изменения загрузки поведение пользователей Android стало ближе к поведению пользователей iOS: более короткие сеансы, но чаще. Игра больше не заставляла игроков подстраиваться под экран загрузки.
«Они могут играть так, как хотят, — говорит Дамьен. — А не так, как их заставляет время загрузки».
Именно это делает проделанную работу похожей не на инженерный трофей, а на задачу для игровой команды. Цель состояла не в том, чтобы сделать график красивее, а в том, чтобы вернуть Brawl Stars в те короткие промежутки времени, из которых состоит жизнь мобильных игроков: поездка на работу, очередь, диван, подозрительно долгий поход в туалет.
Создание лучших инструментов внутри Titan
Работа Эли демонстрирует ту же тенденцию с другой стороны: речь идет не о времени загрузки, а об инструментах, которые люди используют для создания игр внутри Titan.
Он работает над инструментами и системами для художников, дизайнеров и других разработчиков. Часть этой работы связана с конкретной игровой командой, но проблемы знакомы всем разработчикам игр: хрупкие рабочие процессы, общие файлы, которые блокируют работу людей, и инструменты, из-за которых простые изменения занимают больше времени, чем нужно.
Одним из его первых проектов была замена огромной электронной таблицы, которая управляла данными анимации.
«Это был один огромный файл CSV, — говорит он. — Если вы делали опечатку, все ломалось».
Художники использовали эту таблицу для управления композицией анимации. Это работало в техническом смысле точно так же, как стул с тремя ножками технически является стулом. Это мешало совместной работе, легко ломалось, и вряд ли кто-то захотел бы строить вокруг этого постоянный рабочий процесс.
Эли пересоздал ее в виде визуального редактора внутри Titan. Художники могли перетаскивать анимации на временную шкалу, перемещать их, добавлять эффекты и просматривать, как все будет выглядеть в игре. Эта работа заняла у него около шести месяцев, отчасти потому, что он только что устроился на позицию младшего разработчика, а отчасти потому, что создание правильного инструмента требовало постоянного общения с художниками.
«Вы создаете лучший инструмент вместе, — говорит он. — Вы слушаете их идеи, учитываете их опасения и находите наилучшую систему».
Другой проект сделал нечто подобное для косметических предметов: скинов, нарядов и визуальных элементов, которые игроки могут собирать или надевать. Вместо одной большой общей таблицы каждый косметический предмет стал отдельным файлом ресурса. Это означало, что несколько художников могли работать, не мешая друг другу. Один художник мог тестировать больше собственных изменений, вместо того чтобы ждать, пока кто-то другой обновит общий файл.
Это редакторская сторона Titan. Она менее заметна, чем время загрузки, но очень реальна для тех, кто создает игру.
Честная версия
Все это вовсе не означает, что Titan безупречен.
«Многие системы не были рассчитаны на масштабирование, — говорит Эли. — Повсюду баги. Это замедляет работу игровых команд».
Это часть работы с движком, который развивался вместе с «живыми» играми на протяжении многих лет. Крупные игровые команды могут создавать нагрузку на управление ресурсами, рабочие процессы редактора и конвейеры контента способами, с которыми исходные системы не всегда были рассчитаны справляться. Некоторые части Titan были созданы на скорую руку под конкретную задачу, а затем стали использоваться гораздо интенсивнее, чем кто-либо ожидал. Некоторые части отполированы до блеска. Другие же представляют собой, как выразился Эли, машину, которая отлично выглядит спереди, но сзади держится на изоленте и молитвах.
Эли не считает это причиной избегать работы над Titan. Совсем наоборот.
«Весело работать с системой, которая немного сломана», — говорит он.
Он говорит это вполне серьезно. Решение этих задач важно для вполне реальной аудитории: художников и дизайнеров, пытающихся создавать лучшие игры.
«Мы создаем технологии не ради технологий, — говорит Эли. — Вы создаете лучшие технологии, чтобы помочь художникам заниматься их искусством или помочь дизайнерам делать их дизайнерские вещи».
Titan существует не для того, чтобы им восхищались. Он нужен для того, чтобы сделать работу над играми лучше.
Помогите нам создавать то, на чем работают игры Supercell
Проект по сокращению времени загрузки сделал Brawl Stars быстрее. Он также показал, что может означать работа с Titan: глубокие технические проблемы, видимое влияние на игроков и общие системы, которые могут стать надежнее для каждой игровой команды.
Вы можете глубоко погрузиться в движок. Вы можете изменять системные компоненты движка, доступ к которым в стороннем движке может быть закрыт. Вы можете взяться за проблему, которая затрагивает миллионы игроков, а затем провести несколько дней в шахтах вылетов, потому что первая версия вела себя не так, как надо. Вы можете создавать инструменты, которые избавят чью-то жизнь от таблиц Excel, что является благородным поступком в любой компании.
Эта работа не всегда идеальна. Но интересные проблемы редко кроются там, где все идеально.
Titan и команда, стоящая за ним, растут. Цель состоит не в том, чтобы сделать каждую систему идеальной за одну ночь, потому что в разработке ПО так не бывает. Цель состоит в том, чтобы сделать движок и инструменты сильнее, менее «ржавыми» и более полезными для каждой игровой команды, которая на них опирается.
Иногда это означает сокращение времени загрузки на 35 секунд. Иногда это означает предоставление художнику временной шкалы вместо электронной таблицы.
Иногда это означает возможность для кого-то открыть Brawl Stars до того, как у него затекут ноги.
Посмотреть открытые вакансии
