До сих пор разработчикам, создающим приложения и агентов на базе моделей с открытым исходным кодом, приходилось собирать инструменты по одному. Хотя MCP в некоторой степени обеспечивает унификацию, разработчикам все равно приходится заниматься циклом ReAct, координацией задач, управлением моделью, а также немедленной или параллельной отправкой запросов — все это усложняет реализацию. По мере того как приложение обретает новые возможности, эта работа по интеграции быстро становится критически важной частью продукта.
Baseten Hosted Tools превращает этот уровень в простую настройку конфигурации, обеспечивая надежность и низкую задержку.
Baseten Grounded Inference
Наш первый инструмент Baseten Hosted Tool — это веб-поиск: Baseten Grounded Inference.
Baseten Grounded Inference предоставляет моделям, размещенным на Baseten, доступ к информации, которая является актуальной на сегодняшний день, конкретной и отсутствует в их обучающих данных. Это открывает возможности для создания продуктов, которые сложно реализовать только с помощью модели: исследование компании перед звонком по продажам, сравнение текущих продуктов и цен, изучение развивающихся событий, поиск актуальной технической документации — в целом, обоснование ответа на основе всей базы знаний интернета.
Веб-поиск выполняется внутри стека Baseten Inference Stack и может быть включен путем добавления имени наших размещенных инструментов поиска в конфигурацию стандартного запроса Messages, Chat Completions или Responses.
Модель сама решает, нужен ли веб-поиск для запроса, основываясь на своей встроенной способности использовать инструменты, и может выполнять несколько итераций, пока не будет уверена в ответе. С помощью системного промпта и настраиваемого бюджета итераций поведение можно адаптировать под нужные требования: от однократного запроса до агента для глубокого исследования.
Baseten чередует логику вывода модели и поисковые запросы в серверном цикле, одновременно транслируя блоки использования инструментов и их результатов в реальном времени на ваш клиент, что можно использовать для отображения прогресса. В конечном итоге модель выдает обоснованный ответ.
Простой пример запроса с использованием Grounded Inference выглядит так:
- Выбор инструмента и заголовок обязательны.
Выбор инструмента и заголовок обязательны.
- `baseten.tool_settings` является необязательным.
`baseten.tool_settings` является необязательным.
- Работает для `ChatCompletions`, `Messages` и `Responses` в потоковом и буферизованном режимах.
Работает для `ChatCompletions`, `Messages` и `Responses` в потоковом и буферизованном режимах.
- <INSERT_PROVIDER> необходимо заменить перед запуском скрипта.
<INSERT_PROVIDER> необходимо заменить перед запуском скрипта.
Запуск с участием Exa, Keenable, Parallel и You.com
Отличные инструменты требуют глубокой специализации. Именно поэтому мы создаем Baseten Hosted Tools как экосистему, начиная с партнеров, которые вложили значительные усилия в то, чтобы сделать интернет полезным для ИИ-приложений.
На момент запуска мы предлагаем доступ к 4 ведущим провайдерам веб-поиска, перечисленным ниже в алфавитном порядке с их собственных слов:
Exa дает вашему ИИ-агенту доступ к более чем 100 миллиардам веб-сайтов, документов, статей, персон, компаний, новостей и многого другого. С этого момента ваш агент может искать в интернете в режиме реального времени, читать соответствующие страницы и отвечать, используя актуальные источники. Это эффективный с точки зрения токенов способ поиска в интернете. Его любят более 500 тысяч разработчиков и компаний. Exa обеспечивает поиск для Cursor, Vercel, Lovable, HubSpot, Clay, CodeRabbit и других.
Keenable предоставляет независимую инфраструктуру веб-поиска для ИИ-лабораторий и агентов, работающую на основе собственного индекса из более чем 100 миллиардов веб-документов, обновляемого в режиме реального времени для отображения самого свежего контента. Он обеспечивает передовое качество на агентских бенчмарках. Задержка составляет менее 250 мс (p95) в регионе US East при цене $4 за 1000 запросов. Разработан для высоконагруженного вывода с низкой задержкой, агентских рабочих нагрузок или обучения с подкреплением и генерации данных в масштабе.
Parallel Web Systems предоставляет веб-инфраструктуру для ИИ-агентов, обеспечивая агентские веб-исследования в таких компаниях, как Notion, Harvey, Granola, Hex и Dropbox. Их API для поиска и извлечения данных разработаны так, чтобы соответствовать интеллекту и стоимости моделей с открытым исходным кодом, извлекая релевантную веб-информацию и предоставляя ее в формате, который модели могут использовать напрямую, чтобы агенты тратили меньше токенов на обнаружение, парсинг и обработку страниц.
You.com предоставляет API веб-поиска корпоративного уровня, созданные для ИИ-агентов. Работая на независимо сканируемом индексе, они обслуживают более 1 миллиарда запросов в месяц для глобальных корпораций, передовых лабораторий и компаний, изначально ориентированных на ИИ. Их API поиска созданы как для точности, так и для скорости. Их режим извлечения данных Highlights предоставляет LLM контекст с возможностью цитирования и эффективным использованием токенов, что снижает затраты на задачу, особенно в сочетании с моделями Baseten с открытыми весами. Тот же API масштабируется от прототипа до промышленного использования с высоким QPS и соответствием ZDR без перепроектирования вашего стека.
Каждый партнер предлагает свой подход, и предоставление доступа к ним через Baseten позволяет разработчикам выбирать тот опыт поиска, который лучше всего подходит для их приложения, без необходимости перестраивать окружающую интеграцию.
Baseten Hosted Tools
Baseten Hosted Tools предоставляет разработчикам доступ к готовым к промышленному использованию возможностям от Baseten и нашей партнерской экосистемы. Преимущества:
- Сохраняйте высокую скорость работы агентов: с Baseten Hosted Tools вызовы инструментов находятся непосредственно в цикле агента. Система создана для низкой задержки, выполняется немедленно и параллельно, а также обеспечивает пропускную способность промышленного уровня.
Сохраняйте высокую скорость работы агентов: с Baseten Hosted Tools вызовы инструментов находятся непосредственно в цикле агента. Система создана для низкой задержки, выполняется немедленно и параллельно, а также обеспечивает пропускную способность промышленного уровня.
- Выпускайте продукты быстрее: добавляйте возможности без необходимости интегрировать и оркестрировать каждый сервис отдельно.
Выпускайте продукты быстрее: добавляйте возможности без необходимости интегрировать и оркестрировать каждый сервис отдельно.
- Выбирайте лучший инструмент для задачи: получайте доступ к специализированным провайдерам через единый интерфейс разработчика.
Выбирайте лучший инструмент для задачи: получайте доступ к специализированным провайдерам через единый интерфейс разработчика.
- Управляйте всем вместе: запускайте модели и инструменты, которые они вызывают, на одной и той же производственной платформе.
Управляйте всем вместе: запускайте модели и инструменты, которые они вызывают, на одной и той же производственной платформе.
- Интегрированная биллинговая система и отчетность об использовании: как и использование токенов API модели, вызовы инструментов являются дифференцированными статьями расходов, разбитыми по моделям, провайдерам и типам инструментов.
Интегрированная биллинговая система и отчетность об использовании: как и использование токенов API модели, вызовы инструментов являются дифференцированными статьями расходов, разбитыми по моделям, провайдерам и типам инструментов.
Это означает, что команды могут тратить больше времени на улучшение функциональности своих приложений и меньше — на поддержку инфраструктуры, стоящей за ними.
Выполнение инструментов на стороне сервера = меньше сетевых запросов и более быстрые агенты
В наших тестах агенты, работающие с нашими Hosted Tools, показали снижение сквозной задержки на 15% по сравнению с инструментами на стороне клиента.
Цикл поиска на стороне клиента оплачивает «транзитный налог» на каждой итерации. Ваше приложение вызывает модель, модель запрашивает поиск, ответ возвращается в ваше приложение, ваше приложение вызывает поискового провайдера в том регионе, где он работает, и результат возвращается обратно. И вы повторно отправляете весь растущий контекст в модель. Это добавляет множество сетевых переходов и требует повторного парсинга каждого запроса.
Когда вы запускаете инструмент на стороне клиента, каждый проход представляет собой новый запрос, содержащий всю историю беседы. Когда вы запускаете инструмент в процессе обслуживания, клиент видит только один запрос.
Baseten Hosted Tools устраняют избыточную работу:
- Среда выполнения обеспечивает совместное выполнение
Среда выполнения обеспечивает совместное выполнение
- Контекст остается на стороне сервера, что сокращает количество циклов синтаксического анализа
Контекст остается на стороне сервера, что сокращает количество циклов синтаксического анализа
- Упреждающее и параллельное выполнение инструментов во время потоковой передачи модели
Упреждающее и параллельное выполнение инструментов во время потоковой передачи модели
- Корректная обработка сбоев
Корректная обработка сбоев
- SSE в реальном времени для каждого детализированного шага и дополнительные метаданные для обеспечения наблюдаемости.
SSE в реальном времени для каждого детализированного шага и дополнительные метаданные для обеспечения наблюдаемости.
- Поддержка смешанных инструментов (клиентских и размещенных)
Поддержка смешанных инструментов (клиентских и размещенных)
Когда цикл совместного размещения отправляет каждый поиск по мере его появления в потоке токенов, клиенту приходится ждать завершения всего цикла.
Единая платформа для моделей и агентов
Компания Baseten сосредоточилась на том, чтобы сделать модели быстрыми, надежными и простыми в эксплуатации в производственной среде. Baseten Hosted Tools расширяет эту основу, добавляя возможности, которые модели используют во время вывода.
Baseten Grounded Inference — это первый шаг. Со временем мы добавим больше инструментов от Baseten и наших партнеров, предоставляя разработчикам растущий набор строительных блоков для агентов и AI-native приложений.
Мы хотим предоставить агентам и разработчикам лучшие примитивы для создания отличных пользовательских интерфейсов. Это означает расширение Hosted Tools такими возможностями, как выполнение кода и использование браузера, при этом Baseten берет на себя управление выполнением и оркестрацию. Наше приобретение Blaxel ускоряет создание взаимодополняющей основы: быстрых, изолированных, постоянных «песочниц» и хранилищ, где разработчики могут запускать свои собственные агентские рабочие процессы и выполнять инструменты.
Наша цель — объединить модели и инструменты, необходимые разработчикам для создания высокопроизводительных продуктов на базе ИИ, и сделать всю систему готовой к промышленной эксплуатации.
Baseten Grounded Inference доступен в предварительной версии в playground с пониженными лимитами (25 запросов в минуту) и 2 долларами бесплатных кредитов для тестирования. Если вы хотите провести масштабную оценку или интегрировать производственные рабочие нагрузки с более высоким объемом, пожалуйста, свяжитесь с нами, и наша команда скоро ответит вам.
Изучите Baseten Hosted Tools в нашей технической документации или опробуйте их в нашем playground.
