Представляем Baseten Hosted Tools

До сих пор разработчикам, создающим приложения и агентов на базе моделей с открытым исходным кодом, приходилось собирать инструменты по одному. Хотя MCP в определенной степени обеспечивает унификацию, разработчикам по-прежнему приходится самостоятельно обрабатывать цикл ReAct, координацию задач, управление моделью и упреждающую или параллельную диспетчеризацию, что увеличивает сложность реализации. По мере расширения возможностей приложения эта работа по интеграции быстро становится критическим элементом продукта.

Baseten Hosted Tools превращает этот слой в простое изменение конфигурации — надежное и с низким уровнем задержек.

Baseten Grounded Inference

Наш первый инструмент Baseten Hosted Tool — это поиск по интернету: Baseten Grounded Inference.

Baseten Grounded Inference предоставляет моделям, размещенным на Baseten, доступ к актуальной на сегодняшний день, конкретной информации, отсутствующей в их обучающих данных. Это открывает возможности для создания продуктов, которые сложно реализовать с помощью одной лишь модели: исследование компании перед звонком по продажам, сравнение актуальных продуктов и цен, расследование развивающегося события, поиск свежей технической документации — в целом, привязка ответа к обширной базе знаний интернета.

Поиск по интернету выполняется внутри стека Baseten Inference Stack и может быть активирован путем добавления имени наших размещенных поисковых инструментов в качестве конфигурации к стандартному запросу Messages, Chat Completions или Responses.

Модель определяет, нужен ли поисковый запрос, основываясь на своей встроенной функции использования инструментов, и может выполнять несколько итераций, пока не будет уверена в результате. С помощью системного промпта и настраиваемого бюджета итераций поведение можно настроить под желаемый результат: от режима разового вызова до агента глубоких исследований.

Baseten чередует инференс модели и поисковые запросы в цикле на стороне сервера, одновременно передавая потоком блоки использования инструментов и их результатов в качестве динамического прогресса для вашего клиента, который вы можете использовать для отображения хода выполнения. В конце концов модель формирует обоснованный ответ.

Простой пример запроса с обоснованным инференсом выглядит следующим образом:

• Требуется выбор инструмента и заголовок.

Требуется выбор инструмента и заголовок.

• Параметр `baseten.tool_settings` является необязательным.

Параметр `baseten.tool_settings` является необязательным.

• Работает для `ChatCompletions`, `Messages` и `Responses` в потоковом режиме и режиме буферизации.

Работает для `ChatCompletions`, `Messages` и `Responses` в потоковом режиме и режиме буферизации.

• Необходимо заменить <INSERT_PROVIDER> перед запуском скрипта.

Необходимо заменить <INSERT_PROVIDER> перед запуском скрипта.

Запуск с Exa, Keenable, Parallel и You.com

Великие инструменты требуют глубокой специализации. Именно поэтому мы создаем Baseten Hosted Tools как экосистему, начиная с партнеров, которые вложили значительные средства в то, чтобы сделать интернет полезным для ИИ-приложений.

На момент запуска мы предлагаем доступ к 4 ведущим провайдерам веб-поиска, перечисленным ниже в алфавитном порядке:

Exa дает вашему ИИ-агенту доступ к более чем 100 миллиардам веб-сайтов, документов, статей, людей, компаний, новостей и многому другому. С ее помощью ваш агент может искать в интернете в реальном времени, читать релевантные страницы и отвечать, используя актуальные источники. Это эффективный с точки зрения токенов способ поиска в интернете. Сервис любят более 500 тыс. разработчиков и компаний. Exa обеспечивает поиск для Cursor, Vercel, Lovable, HubSpot, Clay, CodeRabbit и других.

Keenable предоставляет независимую инфраструктуру веб-поиска для лабораторий и агентов искусственного интеллекта на базе собственного индекса из более чем 100 миллиардов веб-документов, обновляемого в реальном времени для получения самого свежего контента. Он обеспечивает передовое качество на бенчмарках для агентов. Задержка составляет менее 250 мс (p95) в регионе US East, а стоимость — 4 доллара за 1000 запросов. Разработано для высокопроизводительного инференса с низкими задержками, агентских рабочих нагрузок или масштабного обучения с подкреплением и генерации данных.

Parallel Web Systems предоставляет веб-инфраструктуру для ИИ-агентов, обеспечивая агентские веб-исследования в таких компаниях, как Notion, Harvey, Granola, Hex и Dropbox. Ее API поиска и извлечения разработаны с учетом интеллекта и стоимости моделей с открытым исходным кодом, извлекая релевантную веб-информацию и доставляя ее в формате, который модели могут использовать напрямую, благодаря чему агенты тратят меньше токенов на обнаружение, скрапинг и обработку страниц.

You.com предоставляет API веб-поиска корпоративного класса, созданные для ИИ-агентов. Работая на основе самостоятельно проиндексированного массива данных, они обслуживают более 1 миллиарда запросов в месяц для глобальных корпораций, передовых лабораторий и ИИ-компаний в целом. Их поисковые API созданы с расчетом как на точность, так и на скорость. Режим Highlights (выделения) предоставляет контекст для последующих LLM, который поддается цитированию и эффективен с точки зрения токенов, что позволяет снизить затраты на задачу, особенно в сочетании с моделями Baseten с открытыми весами. Тот же API масштабируется от прототипа до промышленной эксплуатации с высоким показателем QPS и соответствием стандарту ZDR без необходимости перестройки архитектуры стека.

Каждый партнер предлагает свой подход, и предоставление доступа к ним через Baseten позволяет разработчикам выбрать поисковое решение, которое наилучшим образом подходит для их приложения, без необходимости переделывать сопутствующую интеграцию.

Baseten Hosted Tools

Baseten Hosted Tools предоставляет разработчикам доступ к готовым к продакшену возможностям от Baseten и нашей партнерской экосистемы. Преимущества:

• Сохраняйте высокую скорость агентов: благодаря Baseten Hosted Tools вызовы инструментов встроены непосредственно в цикл агента. Решение создано для обеспечения низких задержек, работает упреждающе и параллельно, а также обеспечивает пропускную способность на уровне продакшена.

Сохраняйте высокую скорость агентов: благодаря Baseten Hosted Tools вызовы инструментов встроены непосредственно в цикл агента. Решение создано для обеспечения низких задержек, работает упреждающе и параллельно, а также обеспечивает пропускную способность на уровне продакшена.

• Ускоряйте выпуск продуктов: добавляйте новые возможности без необходимости независимой интеграции и оркестрации каждого сервиса.

Ускоряйте выпуск продуктов: добавляйте новые возможности без необходимости независимой интеграции и оркестрации каждого сервиса.

• Выбирайте лучший инструмент для задачи: получайте доступ к специализированным провайдерам через единый интерфейс для разработчиков.

Выбирайте лучший инструмент для задачи: получайте доступ к специализированным провайдерам через единый интерфейс для разработчиков.

• Управляйте всем вместе: запускайте модели и вызываемые ими инструменты на одной производственной платформе.

Управляйте всем вместе: запускайте модели и вызываемые ими инструменты на одной производственной платформе.

• Интегрированная система выставления счетов и отчетности об использовании: аналогично использованию токенов API моделей, вызовы инструментов представляют собой отдельные статьи расходов с разбивкой по моделям, провайдерам и типам инструментов.

Интегрированная система выставления счетов и отчетности об использовании: аналогично использованию токенов API моделей, вызовы инструментов представляют собой отдельные статьи расходов с разбивкой по моделям, провайдерам и типам инструментов.

Это означает, что команды могут уделять больше времени улучшению функционала своих приложений и меньше времени — обслуживанию технической инфраструктуры за кулисами.

Выполнение инструментов на стороне сервера = меньше сетевых запросов и более быстрые агенты

В наших бенчмарках агенты, использующие Hosted Tools, показали снижение сквозной задержки (end-to-end latency) на 15% по сравнению с инструментами на стороне клиента.

Поисковый цикл на стороне клиента требует «налога на передачу данных» при каждой итерации. Ваше приложение вызывает модель, модель запрашивает поиск, ответ возвращается в ваше приложение, приложение вызывает поискового провайдера в том регионе, где он запущен, и результат возвращается обратно. И при этом вы повторно отправляете модели весь увеличивающийся контекст. Это добавляет множество сетевых переходов и требует повторного синтаксического анализа каждого запроса.

Когда вы запускаете инструмент на стороне клиента, каждый проход представляет собой отдельный запрос, содержащий всю беседу. Когда вы запускаете инструмент на стороне сервера, ваш клиент видит только один запрос.

Инструменты, размещенные на Baseten (Baseten Hosted Tools), устраняют избыточную работу:

• Среда выполнения работает совмещенно с моделью

Среда выполнения работает совмещенно с моделью

• Контекст остается на стороне сервера, что сокращает количество циклов синтаксического анализа

Контекст остается на стороне сервера, что сокращает количество циклов синтаксического анализа

• Упреждающее и параллельное выполнение инструментов во время потоковой передачи модели

Упреждающее и параллельное выполнение инструментов во время потоковой передачи модели

• Корректная обработка сбоев

Корректная обработка сбоев

• Прямые SSE-трансляции каждого детального шага и дополнительные метаданные для наблюдаемости.

Прямые SSE-трансляции каждого детального шага и дополнительные метаданные для наблюдаемости.

• Поддержка смешанных инструментов (клиентские и размещенные на сервере)

Поддержка смешанных инструментов (клиентские и размещенные на сервере)

Когда совмещенный цикл отправляет каждый поиск по мере его появления в потоке токенов, клиенту приходится ждать завершения всего хода диалога.

Единая платформа для моделей и агентов

Компания Baseten сосредоточилась на том, чтобы сделать модели быстрыми, надежными и простыми в эксплуатации в продакшене. Baseten Hosted Tools расширяет эту основу возможностями, которые модели используют во время инференса.

Baseten Grounded Inference — это первый шаг. Со временем мы добавим новые инструменты от Baseten и наших партнеров, предоставляя разработчикам расширяющийся набор строительных блоков для агентов и приложений с поддержкой ИИ.

Мы хотим предоставить агентам и разработчикам лучшие примитивы для создания качественных пользовательских интерфейсов. Это означает расширение возможностей Hosted Tools такими функциями, как выполнение кода и работа с браузером, причем Baseten берет на себя управление выполнением и оркестрацией. Наше приобретение компании Blaxel ускоряет создание взаимодополняющей основы: быстрых, изолированных, постоянных песочниц и хранилищ, где разработчики могут запускать собственные агентские рабочие процессы и выполнять инструменты.

Наша цель — объединить модели и инструменты, необходимые разработчикам для создания высокопроизводительных ИИ-продуктов, и сделать всю систему готовой к продакшену.

Baseten Grounded Inference доступна в предварительной версии игровой площадки (playground) с пониженными лимитами запросов (25 RPM) и бесплатными кредитами на сумму 2 доллара США для тестирования. Если вы хотите провести масштабную оценку или интегрировать рабочие нагрузки для продакшена с более высокими объемами, пожалуйста, свяжитесь с нами, и наша команда скоро с вами свяжется.

Изучите Baseten Hosted Tools в нашей технической документации или оцените их в нашей игровой площадке.