Snorkel, передовая лаборатория данных ИИ, разрабатывает и проверяет сложные наборы данных для обучения и оценки систем ИИ. Платформа Agentic Data Platform от Snorkel объединяет экспертов-людей со специализированными агентами, которые постоянно обучаются, чтобы создавать более качественные данные с большей скоростью. Платформа Snorkel лежит в основе систем, которые обрабатывают триллионы запросов и записей в передовых лабораториях ИИ и ведущих компаниях, поддерживая кураторство данных, оценку моделей и бенчмаркинг агентов.
Центральной и все более важной частью работы Snorkel является оценка: создание строгих бенчмарков и запуск крупномасштабных симуляций для проверки прироста производительности моделей. Сегодня Modal обеспечивает инференс для моделей с открытыми весами, которые оценивает Snorkel, а также песочницы (песочницы) для GPU и CPU для миллионов симуляций в месяц.
Создание реалистичных сред с помощью песочниц на базе GPU и ВМ
Snorkel потребовалось моделировать самые разные симуляции в масштабном режиме. Они оценивают агентов в широком спектре задач: написание кода (они являются участниками проекта Terminal-Bench), инфраструктура, ML-инженерия и многое другое.
Точное измерение параметров агента требует создания для него реалистичной рабочей среды. Без реалистичной среды трудно понять, потерпел ли агент неудачу из-за того, что у него не было необходимых инструментов, или из-за его собственных возможностей. Но инструменты, необходимые агенту, различаются в зависимости от бенчмарков, которые создает Snorkel. ML-агенту нужен доступ к GPU для обучения модели, в то время как агенту инфраструктуры может потребоваться доступ ко всему ядру Linux.
Snorkel использовала песочницы Modal для воспроизведения сложных сред, включая многосервисные системы и рабочие нагрузки с поддержкой GPU. Комплексная поддержка песочниц GPU была обязательным требованием для их команды, и Modal оказалась единственным провайдером песочниц, способным удовлетворить их потребности в больших масштабах. Наличие единого провайдера как для GPU, так и для CPU-песочниц также упростило их инфраструктуру и отслеживание затрат.
«Чтобы симуляции агентов имели смысл, среда должна представлять собой реальный мир, в котором будет действовать агент. Песочницы виртуальных машин Modal позволяют нам воссоздавать сложные системы производственного уровня — от многоконтейнерных инфраструктурных нагрузок до сред глубокого обучения с поддержкой GPU — для миллионов симуляций, которые мы запускаем каждый месяц».
Хотя Snorkel создает миллионы песочниц в месяц, их количество часто достигает пика в десятки тысяч песочниц в час. По мере выпуска новых моделей или настройки «старых» моделей команда Snorkel запускает их на комбинации публичных и проприетарных бенчмарков. Эти комплексные оценки чувствительны ко времени, поскольку клиенты обычно хотят знать, будет ли модель хорошо работать для их сценария использования в течение дня, что означает требование высокой параллельности песочниц — такой, какую предлагает Modal.
Снижение затрат на 20% с помощью динамического выделения памяти (memory bursting)
Ранее команда Snorkel оценивала потребности своих агентов в CPU и памяти при настройке песочницы. В некоторых случаях агент давал сбой, поскольку в песочнице не было достаточно ресурсов для выполнения задачи, что делало результат запуска недействительным. В других случаях ресурсы были избыточно выделены, что приводило к низкой эффективности расходования средств.
Оценка потребностей агентов в ресурсах особенно сложна по двум причинам: использование ресурсов внутри песочницы носит пиковый характер, а конфигурации рабочих нагрузок статически неизвестны. В течение жизненного цикла песочницы часто возникают периоды неактивности — например, при ожидании ответа от LLM, — за которыми следуют всплески, когда выполняется что-то вроде команды grep. Поскольку весь код, выполняемый в песочнице, генерируется LLM, также сложно оценить конкретные потребности в ресурсах. Это особенно актуально для Snorkel из-за большого разнообразия бенчмарков, которые они запускают.
Чтобы упростить выделение ресурсов, Snorkel начала использовать функцию bursting от Modal, при которой отдельные песочницы могут эластично расширять память или ресурсы CPU, необходимые им в определенный момент времени. С клиентов взимается плата за ресурсы, которые песочница использует в данный момент, или за ресурсы, которые были запрошены изначально, в зависимости от того, что больше. Они все еще находятся на ранней стадии внедрения: сегодня функцию bursting используют около 10–15% песочниц Snorkel.
Bursting позволила выделять CPU и память при настройке, сохраняя при этом гибкость во время выполнения. Для команды Snorkel это означало повышение надежности запусков, так как количество сбоев из-за ограничений ресурсов уменьшилось. Функция bursting также позволила Snorkel снизить объем ресурсов, запрашиваемых для своих песочниц, без ущерба для надежности, что привело к существенной экономии средств.
«Нам необходимо поддерживать задачи от специалистов предметной области (SME) или агентов без избыточного выделения инфраструктуры. Bursting дает нам гибкость при настройке и во время выполнения, позволяя избегать избыточного выделения ресурсов и экономя около 20% от общего счета за песочницы».
Инференс для моделей с открытыми весами
Запуск симуляций требует большего, чем просто среда; он требует инференса. Команде Snorkel нужно было быстро развертывать эндпоинты, запускать бенчмарки, а затем сворачивать их для новых и дообученных моделей.
Иногда, например при проведении первоначальной оценки новых моделей, Snorkel может использовать готовый эндпоинт. В других случаях им необходимо разместить и обслуживать пользовательскую модель, которую доработал клиент.
Snorkel использует комбинацию общих и выделенных эндпоинтов Modal (Shared и Dedicated Endpoints) для инференса, что позволяет им быстро развертывать модели и загружать пользовательские веса без привлечения команды инфраструктуры.
«Серверные GPU от Modal означают, что мы можем принести собственную модель или использовать общий инференс, применять инференс для различных бенчмарков и при этом масштабироваться очень быстро и надежно».
Что дальше
Агенты продолжают создавать новые потребности в инфраструктуре, и бенчмарки Snorkel должны за ними поспевать. За примерно шесть месяцев работы с Modal они внедрили новые возможности по мере их выпуска компанией Modal, такие как песочницы виртуальных машин.
«С агентами инфраструктура становится очень интересной задачей, и способность действовать быстро имеет важное значение. Индустрия ИИ вся построена на быстрых движениях, и Modal движется вместе с нами».
Сегодня Snorkel полагается на Modal для запуска инференса и песочниц для обеспечения своих симуляций. В будущем они планируют оценить Modal в качестве решения для обучения, что позволит им использовать свои данные для полного цикла улучшения моделей — от обучения до оценки.
«В конце концов, улучшение моделей требует двух вещей: данных и вычислений. Modal позволяет нам сосредоточиться на данных, предоставляя инфраструктуру для наших вычислений».
