На прошлой неделе Anaconda провела свое первое мероприятие Scale. Я выступала вместе с моими коллегами и некоторыми из наших невероятных клиентов, чтобы поделиться лучшими практиками и практическими шагами для организаций, желающих создать и масштабировать свой стек ИИ.
В Anaconda мы создаем надежный фундамент для предприятий, позволяющий интегрировать, защищать, регулировать и использовать ИИ. Мы привлекли три компании (Outerbounds, Kilo и Enkrypt AI), чтобы поддержать эту работу. Мне хотелось подвести итоги мероприятия и поделиться некоторыми идеями, которые, я надеюсь, возьмут с собой разработчики.
Путь к масштабу в триллионы токенов
Сначала давайте поговорим о том, что мы подразумеваем под масштабом. У Anaconda есть видение эффективного и безграничного использования ИИ, при котором организации работают с ИИ в масштабе триллионов токенов по мере его внедрения в бизнес-приложения, рабочие процессы и операции.
Это амбициозный прогноз, но вполне осуществимый. Чтобы достичь этого, предприятиям потребуется:
- Обеспечивать безопасность и управление пакетами, моделями, агентами, инструментами и данными, из которых состоят их рабочие процессы ИИ
- Сохранять свободу выбора моделей, инструментов, инфраструктуры, данных и развертывания
- Переносить ИИ из разработки в продакшен с возможностью повторения, прозрачностью и отслеживаемостью
- Оптимизировать затраты путем соотнесения рабочих нагрузок с правильными моделями и инфраструктурой
Вам не нужно делать все сразу. Начните с того места, где у вас больше всего сложностей — будь то разработка, безопасность и управление или производственные операции, — и постепенно выстраивайте более широкий надежный фундамент. Три истории клиентов, приведенные ниже, начинают с разных отправных точек: Plug&Pay — с затрат и выбора, Notion — с безопасности, а Tala — с продакшена.
Скрытая стоимость разрастания инструментов ИИ
Мне удалось побеседовать с Даниэлем Лангезаалом (Daniel Langezaal), инженером-программистом в Plug&Pay, европейской онлайн-платформе для предпринимателей. Он поделился историей своей команды о создании рабочих пространств ИИ, начиная с главной проблемы: они использовали шесть совершенно разных инструментов.
Но настоящим риском было ценообразование, а не разрастание инструментов. Инструмент за инструментом переходили от безлимитного использования к кредитным системам с кажущимися случайными наценками. Они поняли, что эта модель неустойчива, если они хотят выстраивать рабочие процессы в масштабе предприятия.
Компания Plug&Pay обратилась к Kilo в поисках платформы, которая предоставляла бы единое место для управления теми частями их рабочего процесса, которые были обременены сложностью, и которая мгновенно понимала бы их существующую инфраструктуру.
Результаты оказали масштабное влияние на всю инженерную организацию Plug&Pay. Без каких-либо директив 80% инженерной команды подключились к Kilo. Kilo — это не весь их стек ИИ, но это тот компонент, которому они доверяют, зная, что он останется стабильным подо всем остальным.
Kilo предлагает клиентам выбор моделей и оптимизацию затрат. Если вы тот человек, которому приходится объяснять статью расходов на ИИ, это оптимизация затрат, которую ваша команда применяет по умолчанию без каких-либо процедур закупки.
Внедрение средств контроля безопасности
Моя коллега Джейн Ким (Jane Kim), коммерческий директор Anaconda, взяла интервью у Дэвида Цао (David Tsao), директора по информационной безопасности в Notion. Функциональность ИИ в Notion выросла от ответов на простые вопросы до совершения реальных действий в рабочем пространстве от имени пользователя. Такой уровень автономности означал, что команде Дэвида необходимо было внедрить надежные элементы управления и защитные механизмы, чтобы агенты никогда не выходили за рамки правил.
Изначально первой линией обороны команды была отправка всех промптов через модель общего назначения для оценки. Это работало, но с одним критическим недостатком: в масштабах Notion модель помечала 3–4% всего трафика, причем подавляющее большинство составляли ложноположительные срабатывания. Такой подход скрывал реальные угрозы и не мог масштабироваться с необходимой им скоростью.
Notion начала использовать Enkrypt AI. После тестирования концепции они перешли на уровень защитных барьеров, развернутый на собственной инфраструктуре. Эта миграция была сложной и потребовала значительных инженерных ресурсов для адаптации стека под их инфраструктуру, но отдача оказалась огромной.
Помеченный трафик снизился с 3–4% до менее чем 0,1%, то есть сократился более чем в 30 раз. Для команды Дэвида это означает, что им больше не нужно просеивать шум в поисках самых критических угроз. При правильном применении безопасность обеспечивает скорость.
От экспериментов к продакшену
Наконец, Тодд Осборн (Todd Osborne), старший вице-президент по глобальным продажам в Anaconda, побеседовал с Уиллом Хай (Will High), руководителем отдела науки о данных и машинного обучения в Tala. Tala — это финансовая платформа, обслуживающая заемщиков на Филиппинах, в Мексике и Кении, многие из которых исторически были обделены вниманием традиционных кредиторов.
Команда Уилла создает модели, лежащие в основе принятия кредитных решений в реальном времени, где медленный или хрупкий конвейер может означать разницу между тем, получит ли человек кредит, когда он ему нужен, или нет.
По мере роста Tala ее инфраструктура не успевала за возрастающими требованиями. Kubeflow и Airflow оказались тяжелее, чем требовалось команде, переобучение модели могло занимать месяцы, а подключение нового сотрудника означало ручной запуск инстансов EC2 и серверов Jupyter.
Tala перешла на Anaconda AI Orchestration. Обучение, оценка и развертывание теперь выполняются без ручного управления, и все находится в единой общей кодовой базе. Переобучение, которое занимало месяцы, теперь занимает дни, а развертывание сократилось с пяти дней примерно до 90 минут. Компания Tala перешла примерно с четырех моделей в год в 2021 году на 41 модель в 2025 году, при этом численность персонала осталась практически неизменной.
Стандартизируя единый повторяемый конвейер и автоматизируя ручные этапы между разработкой и продакшеном, команды могут сосредоточиться на решении важных задач, а не на обслуживании инфраструктуры.
Взгляд в будущее
Истории от Plug&Pay, Notion и Tala касаются разных проблем и возможностей, но ведут к одному и тому же выводу. Чтобы масштабировать ИИ, вам необходимо опираться на надежный фундамент: тот, который держит затраты под контролем, защищает то, к чему прикасаются ваши агенты и модели, и переносит работу из разработки в продакшен без трений.
И вам не нужно решать все сразу. Начните с того места, где у вас больше всего сложностей, и двигайтесь дальше.
Если вы не смогли присоединиться к нам на Scale в прямом эфире, вы можете посмотреть мероприятие по запросу.
Посетите нашу страницу с тематическими исследованиями, чтобы ознакомиться с историями наших клиентов в действии.
