Botika создает агентские команды для электронной коммерции, которые автоматизируют визуальное производство для мировых модных брендов. Используя собственные модели, разработанные и обученные внутри компании, Botika управляет всем конвейером — от генерации изображений в 4K до персонализации в реальном времени в масштабе.
За этим продуктом стоит полностековая ИИ-инфраструктура: проприетарные базовые модели с десятками миллиардов параметров, конвейер обработки данных объемом 100 терабайт и около 15 моделей, обслуживающих производственный вывод. Все это работает на Modal.
«Я не думаю, что Botika существовала бы в своем нынешнем виде без Modal», — говорит Эран Даган, соучредитель и генеральный директор Botika. «Нам потребовалось бы, вероятно, вдвое больше людей».
— Эран Даган, соучредитель и генеральный директор
В поисках облака, созданного для ИИ-нагрузок
Даган и его соучредитель начали заниматься генеративным ИИ в 2018 году, за годы до появления инструментов для его поддержки. Поэтому они создали инструменты сами: автомасштабирование узлов, минимизация «холодного старта», оптимизация Docker-образов, управление парком GPU.
«Может быть легко начать с одной виртуальной машины, работающей на CUDA, но очень сложно, когда хочешь по-настоящему масштабироваться. Я помню наш парк Kubernetes и то количество работы, которое уходило на выяснение причин неисправности узла; часто можно было потратить недели на поиск случайных ошибок драйверов».
— Эран Даган, соучредитель и генеральный директор
В 2023 году Даган начал искать что-то лучшее. Он оценил основные варианты облачных GPU-решений и счел их либо слишком жесткими, либо слишком специфичными. Затем он заметил Modal на карте ландшафта ИИ-инфраструктуры — единственное имя, которое он не узнал, — и запросил доступ к бета-версии.
«Я помню момент, когда набрал modal run, и все просто заработало. Я подумал: окей, это только что сэкономило мне неделю работы прямо здесь и сейчас».
— Эран Даган, соучредитель и генеральный директор
Теперь Botika управляет сквозным процессом на Modal, от конвейера данных до производственного вывода.
Конвейер данных объемом 100 терабайт без оркестратора
Конвейер данных Botika превращает необработанные изображения модной одежды в данные для обучения: генерация признаков, фильтрация, тегирование, кластеризация и агрегация на десятках этапов. Он запускает около дюжины различных ИИ-моделей, от VLM с открытым исходным кодом, выполняющих тегирование zero-shot, до классификаторов, которые Botika исследовала и создала внутри компании, каждая в своей специализированной среде на своем типе GPU.
Изначально конвейер работал на GCP Batch, и до появления Modal перемещение данных от начала до конца занимало недели запуска виртуальных машин, выполнения скриптов и ручной настройки параметров масштабирования. Альтернативы были не лучше: внедрить полноценный оркестратор, такой как Airflow, и взять на себя бремя DevOps или продолжать идти на компромиссы в скорости.
«К тому времени, как задание запускается на GCP Batch, на Modal можно было бы запустить тысячу заданий», — говорит Даган. «Простая логика 'как только это задание выполнено, запусти следующее' так легко выражается на Modal и так сложна без полноценного оркестратора где-либо еще».
С Modal только файлы кода приложения позволяют команде обрабатывать 100-терабайтный набор данных с уровнем ошибок менее 1% на тысячах параллельных контейнеров, используя почти каждый тип GPU, предлагаемый Modal.
Обеспечение быстрых передовых исследований
Обучение собственных базовых моделей означает, что исследователи Botika проводят тысячи экспериментальных запусков обучения для развития своих моделей. Modal сыграл решающую роль в том, чтобы позволить команде итерировать с желаемой скоростью.
До Modal каждый исследователь мог запустить, может быть, один или два эксперимента в день. Теперь один исследователь запускает 50: подключите Claude к Modal, запустите 50 коротких экспериментов, выберите те, что работают, и масштабируйте победителей. Исследователи запускают свои собственные рабочие станции на Modal для быстрой итерации, а затем отправляют задания на выполнение в фоновом режиме, пока агент работает над чем-то другим — пропускная способность экспериментов ближе к передовой лаборатории, чем к стартап-команде исследователей.
«Вы даете умному человеку и ИИ-агенту, который переводит мысли этого человека, доступ к очень быстрым и отзывчивым вычислительным мощностям, и вы просто делаете гораздо больше работы», — говорит Даган. «Как основатель, я вижу, как быстро движется каждый отдел. Без Modal исследовательская команда отставала бы на шесть месяцев».
Botika обучает свои базовые модели для генерации изображений в 4K — задания, которые выполняются неделями на многих GPU. Мало команд размера Botika вообще обучают модели в таком масштабе; еще меньше делают это на инфраструктуре, которую им не пришлось собирать самим. Команда была одной из первых, кто внедрил многоузловое обучение Modal, когда оно еще было скрыто за экспериментальным флагом, и с первого дня использовала межпроцессорную связь GPU и сеть RDMA.
Совсем недавно команда создала свою собственную инфраструктуру обучения с подкреплением менее чем за день, используя только примитивы Modal. Серверы вознаграждений работают как запущенные функции Modal. Задания обучения запускают дополнительные задания в середине выполнения для итеративного моделирования вознаграждений. Развертывание было легко настроить.
Поскольку все находится в одном месте, серверы вознаграждений, созданные исследовательской командой для обучения с подкреплением, повторно используются непосредственно в стеке производственного вывода. «С SageMaker или Vertex такой сценарий просто не сработал бы», — говорит Даган. «У меня есть сервер, и я хочу иметь к нему доступ во время обучения, во время вывода и во время конвейера данных. На Modal не нужно переключаться между инструментами. Это экономит нам много времени и снижает сложность».
Вывод, который масштабируется вместе со спросом
Botika обслуживает около 15 моделей в производстве в любой момент времени, используя L4, L40S, A100 и H100. Modal берет на себя очереди, автомасштабирование и холодные старты, поэтому перед каждым сервисом не нужно устанавливать очередь Redis.
ИИ-трафик нарушает традиционную модель масштабирования, поэтому здесь способность Modal эластично масштабироваться в любой момент — это то, что команда Botika ценит больше всего.
«Мы можем удвоить или утроить трафик за секунды, и никто об этом не узнает. Никого в компании это не волнует с технической точки зрения, мы знаем, что Modal просто будет работать».
— Эран Даган, соучредитель и генеральный директор
Облако, которое не мешает
«Нам больше не нужно работать с традиционными облаками. Все, что касается вычислений, а для нас это 99% бизнеса, работает на Modal».
— Эран Даган, соучредитель и генеральный директор
Для такой команды, как Botika, крайне важно иметь инфраструктуру, которая позволяет им выполнять необходимую работу, не заставляя их приспосабливаться к определенному способу построения. На Modal Botika запускает свое приложение способами, которые не являются специфичными для Modal, запускает фреймворки с открытым исходным кодом и собственные фреймворки без модификаций и никогда не касается проприетарного «черного ящика». «Это теперь такая неотъемлемая часть нашего рабочего процесса. Кому-то нужно что-то запустить — пишешь функцию, modal run, и все просто работает».
Каждый инженер, которого нанял Даган, приходит к одному и тому же выводу: пути назад к подходу Kubernetes нет.
