Генерация, дополненная поиском (RAG), стала центральным элементом того, как предприятия используют ИИ. Предоставляя большим языковым моделям (LLM) информацию, не содержащуюся в их параметрах обучения, RAG повышает точность и полноту генерируемых ответов.
RAG как услуга представляет собой полное аутсорсинговое управление системами RAG. Вместо того чтобы создавать систему собственными силами, компании подключают свою платформу ИИ к сервису вендора, который занимается индексацией, хранением и поиском. Зачастую это наиболее экономически эффективный и безопасный способ внедрения RAG в корпоративные рабочие процессы.
Что такое RAG как услуга (RaaS)?
RAG как услуга, часто сокращаемая как RaaS или RAGaaS, — это подход к использованию RAG, при котором компоненты и процессы частично или полностью передаются на аутсорсинг. Чаще всего этот термин используется для обозначения полностью управляемого сервиса.
Этот подход разделяет базовый концептуальный шаблон с программным обеспечением как услугой (SaaS). Вместо размещения бэкенд-инфраструктуры в локальной среде такие архитектурные компоненты RAG, как векторные базы данных, модели эмбеддингов и поисковые модули, размещаются и управляются сторонним провайдером.
Варианты его использования в основном приходятся на корпоративный сектор. Поскольку компании часто располагают обширными базами знаний, хранилищами данных и репозиториями конфиденциальной информации, для них целесообразнее использовать проверенного стороннего поставщика, чем создавать систему с нуля.
Вендор часто берет на себя все аспекты приема данных, их хранения, безопасности и постоянной оптимизации RAG. Они также могут предоставить доступ к LLM и пользовательскому интерфейсу (например, встраиваемому виджету для корпоративного приложения) в рамках услуги или же подключиться к существующей системе ИИ компании.
Различия между локальным RAG, облачным RAG и RAG как услугой
На практике большинство систем RAG в той или иной степени полагаются на услуги вендоров. Сложность, присущая даже базовым реализациям RAG, означает, что создавать все с нуля практически никогда не целесообразно.
Тем не менее, хотя многие системы RAG используют внешние сервисы, это не значит, что все они классифицируются как RAG как услуга. Главное различие заключается в том, кто строит систему и управляет ею. В случае с RaaS вендор управляет большей частью базовой инфраструктуры (если не всей). От предприятия требуется лишь предоставить доступ к своей базе данных или облачному хранилищу.
Ниже приведен обзор того, что отличает RaaS от других типов RAG:
- Локальный RAG: Пользователь самостоятельно строит приложения для приема, поиска и хранения данных на собственных серверах. Он даже может запускать эмбеддинги и большие языковые модели локально.
- RAG собственной разработки с использованием облачных сервисов: Гибридный подход, при котором администратор использует API для подключения к ключевым компонентам RAG, таким как размещенные базы данных и сторонние модели. Подключения и уровень оркестрации управляемы внутри компании.
- RAG как услуга: Провайдер управляет всей или большей частью системы RAG. Он может подключиться к существующему интерфейсу и модели ИИ компании или предоставить их в составе платного пакета.
Стоит также отметить, что компании не всегда выбирают подход «либо то, либо другое» в отношении RAG как услуги. Они могут проектировать собственные системы для простых задач и привлекать стороннего провайдера для более сложных сценариев.
Пример RAG как услуги: Управление корпоративными знаниями
Управление корпоративными знаниями — один из самых распространенных примеров RAG как услуги. В простом случае пользователи имеют доступ к ИИ-чат-боту, который может отвечать на вопросы о конфиденциальной информации компании и клиентов.
Ниже представлен обзор того, как может выглядеть система RaaS для управления знаниями:
- Компания создает внутреннюю базу знаний. В простейшем сценарии это может быть коллекция файлов в облаке, содержащая информацию о политиках, стандартных операционных процедурах (SOP), продуктах и частых вопросах клиентов.
- Стороннему провайдеру RaaS предоставляется доступ к этой базе знаний через API. Он очищает весь релевантный текст, преобразует фрагменты в векторные эмбеддинги с помощью модели эмбеддингов и сохраняет их в векторной базе данных на своих серверах. Эта последовательность шагов называется конвейером приема данных.
- Всякий раз, когда в базу знаний добавляется новая документация в необработанном виде, провайдер извлекает ее и добавляет в векторную базу данных.
- Провайдер также подключается к оркестратору системы ИИ компании через API поискового модуля вендора. Оркестратор — это программный компонент, который координирует пользовательские запросы и отправляет дополненные промпты в LLM.
- Всякий раз, когда пользователь делает запрос в чат-бот компании, оркестратор передает текст запроса вендору. Вендор преобразует запрос в эмбеддинг, который затем используется для поиска по базе данных.
- Оркестратор получает дополнительную информацию, дополняет входной контекст и отправляет его в LLM.
- LLM генерирует ответ, который оркестратор доставляет пользователю через чат-бот компании.
Преимущества RAG как услуги по сравнению с хостингом RAG собственными силами
RAG как услуга имеет следующие преимущества по сравнению с самостоятельно развертываемым RAG:
- Более быстрое развертывание: Готовые компоненты берут на себя синтаксический анализ документов, разбиение на фрагменты, создание эмбеддингов, хранение и поиск.
- Меньший объем обслуживания: Использование вендора избавляет от бремени обслуживания и обеспечения безопасности, которое в противном случае легло бы на команду разработчиков компании.
- Масштабируемость: Хотя вендоры вводят ограничения по тарифным планам и пакетам, сторонний RaaS обычно является экономически эффективным способом работы с растущими базами знаний.
- Синхронизация актуального контента: База данных на стороне вендора автоматически обновляется при добавлении новых документов.
- Интеграция с корпоративными платформами: Управляемый RAG часто интегрируется в универсальные корпоративные платформы ИИ с включенной постоянной оптимизацией.
Обзор вариантов использования RAG как услуги
Сам по себе RAG имеет широкий спектр вариантов использования и примеров как в потребительской, так и в бизнес-сфере. RAG как услуга, напротив, используется в основном в корпоративном контексте.
Ниже приведен обзор основных вариантов использования RaaS:
- Управление внутренними знаниями: Многие компании теперь встраивают чат-боты в свое программное обеспечение, чтобы сотрудники могли искать внутреннюю документацию, хранящуюся в облачных сервисах, таких как Google Drive, SharePoint, Confluence и т. д. RaaS предоставляет уровень, который выполняет прием, хранение и запросы к этим файлам.
- Поддержка клиентов: В таких системах чат-боты для клиентов и вспомогательные боты, используемые операторами, обеспечивают доступ к документации компании. Специализированные платформы, такие как Zendesk и Intercom, обычно предлагают собственные готовые чат-боты на базе RAG.
- Помощь и содействие продажам: Компании часто располагают огромными объемами клиентской информации, которая может помочь в продажах. Примеры включают тикеты техподдержки, анализ конкурентов и неструктурированные записи звонков. Как и в случае с обслуживанием клиентов, ведущие торговые платформы, такие как Gong и Pipedrive, часто предлагают функциональность RAG в составе своих корпоративных пакетов.
- Доступ к клиентским данным: ИИ все чаще используется для помощи или, в некоторых случаях, полной автоматизации таких задач, как управление подписками, возвраты и изменение личных данных. В таких случаях безопасность имеет первостепенное значение, и провайдеры RAG как услуги уделяют приоритетное внимание защите данных.
- Клиентские чат-боты: ориентированные на клиентов ИИ-чат-боты подключаются к бэкенд-базам данных продуктов для помощи в поиске и ответах на технические вопросы. Этот вариант использования часто требует сложной архитектуры, поскольку запросы клиентов могут охватывать широкий спектр информационной тематики. Для небольших сайтов электронной коммерции RAG как услуга представляет собой простой способ реализации этой функциональности на их сайтах и в приложениях.
Топ-7 провайдеров RAG как услуги
Провайдеры RAG как услуги обычно делятся на две категории. Это либо ИИ-платформы общего назначения со встроенной функциональностью RAG, либо вендоры, предлагающие управляемую бэкенд-инфраструктуру RAG.
Общее решение будет работать «из коробки» и обычно подключается к другим приложениям и внешним источникам данных с помощью интеграций. Более модульные решения могут стать лучшим выбором для индивидуальной настройки.
1. Perplexity
Perplexity Enterprise — это комплексный набор агентских инструментов, который включает в себя расширенную функциональность RAG для создания внутренних баз знаний (в том числе на уровне отдельных проектов) и выполнения веб-поиска. Он предоставляет доступ к большинству генеративных моделей от ведущих производителей и имеет собственную модель встраивания (эмбеддингов).
У Perplexity также есть обширная библиотека интеграций, которые могут подключаться к внешним источникам данных для извлечения информации. Безопасность данных корпоративного уровня и права сотрудников разработаны для защиты конфиденциальной внутренней информации.
Основные функции: базы знаний, многомодельный доступ, сторонние интеграции, безопасность корпоративного уровня
2. Amazon Web Services
Amazon Web Services (AWS) предоставляет RaaS посредством сервиса Bedrock Managed Knowledge Base. Пользователи предоставляют источники данных, а Amazon берет на себя все аспекты их приема, хранения и извлечения. Сервис включает в себя модель переранжирования.
Основные функции: базы знаний, гибридный поиск, управляемая модель эмбеддингов, поддержка агентского извлечения
3. OpenAI
OpenAI предоставляет доступ к инфраструктуре RAG через свой Responses API и инструмент file_search. Пользователи могут загружать документы, которые разбиваются на фрагменты, преобразуются в эмбеддинги и сохраняются в размещенных векторных базах данных. Responses API — это относительно простой способ добавления функциональности RAG в существующее приложение.
Основные функции: размещенные базы знаний, векторный поиск, семантический поиск, интеграция с LLM
4. Microsoft Azure
Azure AI Search — это ключевое предложение Microsoft в области RAG, которое выступает в роли движка индексации, векторного хранения и гибридного извлечения (ключевой, семантический и векторный поиск). Microsoft Foundry — это тесно связанный продукт, который функционирует как уровень оркестрации в сочетании с AI Search, однако разработчики также могут интегрировать его со своими собственными платформами.
Основные функции: прием данных, мультимодальный поиск, переранжирование, безопасность корпоративного уровня
5. Pinecone
Pinecone Assistant обеспечивает автоматическое разбиение на фрагменты, создание эмбеддингов, извлечение и переранжирование. Он разработан для того, чтобы компании могли развертывать ИИ-ассистентов, имеющих доступ к собственным базам знаний, без создания специализированного конвейера извлечения. Он работает с другими продуктами Pinecone, такими как Pinecone Database и Vector Nexus — решением типа RAG, созданным для снижения затрат на ресурсы.
Основные функции: готовая архитектура индексации и извлечения, интеграция с другими корпоративными сервисами Pinecone
6. LlamaIndex
LlamaIndex — это платформа с открытым исходным кодом для подключения источников данных к LLM. Она отлично работает со сложной документацией и предлагает специализированные структуры индексов. Доступны управляемые пакеты RaaS, работающие на базе этой открытой платформы. Ее обширная модульная функциональность и широкий набор интеграций с другими инструментами делают ее отличным выбором для более сложных реализаций RAG.
Основные функции: управляемый сервис RAG, интеграция с внешними векторными базами данных, сложный парсинг документов
7. Vectara
Vectara доступна как в виде SaaS, так и в качестве локального решения (on-premise), и предоставляет доступ к полноценной системе приема, извлечения и хранения RAG. Она получила высокие оценки за средства контроля галлюцинаций и использует собственные модели извлечения и генерации, хотя также подключается к сторонним. Она сочетает в себе простоту реализации с высокой степенью кастомизации.
Основные функции: комплексный управляемый RAG, средства контроля фактической точности, проприетарные модели
Стоит ли использовать RaaS или создать собственную систему?
Выбор между провайдером RaaS и собственной хостинговой системой RAG сводится к трем факторам: стоимость, масштаб и сложность.
Создание системы RAG с нуля, особенно если она использует внутренние или дообученные модели, обычно требует значительных инвестиций в разработку. Если вы запускаете все компоненты на собственных серверах, вы можете избежать проблемы затрат на токены и хранение, но это легко может быть компенсировано стоимостью оборудования и обслуживания в долгосрочной перспективе.
RaaS также является лучшим выбором, если вы планируете масштабировать свои рабочие процессы ИИ, будь то из-за роста компании или намерения выйти за рамки ограниченного числа сценариев использования. Если у вас есть четко определенные границы использования, автономная система может оказаться более подходящей.
Наконец, RAG может быть сложным с точки зрения разработки. Более продвинутые архитектуры, включающие мультимодальный и гибридный поиск, а также задачи на уровне оркестратора или LLM, такие как переранжирование, требуют продвинутой экспертизы для реализации. Как правило, специализированный вендор обеспечит наиболее экономичный доступ к подобным функциональным возможностям.











