Агенты ИИ переживают кризис контекста.
Контекст ИИ — это главная тема в индустрии прямо сейчас. Неудивительно, что так много компаний сталкиваются с трудностями в этой области. назвали возможность поиска данных проблемой для своей стратегии автоматизации ИИ. Еще 47% заявили, что препятствием является возможность повторного использования.
Большинство компаний знают, что решение включает в себя контекстную инженерию для создания уровня контекста, необходимого для ИИ.
Вопрос в том, как это сделать?
Ответ — продукты данных. Продукты данных — это не новый подход к организации данных. Но они привлекают к себе повышенное внимание, поскольку предоставляют как единицу упаковки, так и методологию для создания контекста.
В этой статье мы рассмотрим, почему продукты данных являются единицей контекста для ИИ. И что еще важнее, мы увидим, почему они являются идеальной единицей работы для контекстной инженерии.
Потребность в контекстной инженерии
Агенты ИИ терпят неудачу не из-за нехватки мощности моделей. Скорее, они терпят неудачу из-за нехватки контекста.
Модель общего назначения без надлежащего обоснования в контекстном слое вашей конкретной организации будет уверенно заполнять пробелы, часто с помощью галлюцинированной информации. Преодолеть это непросто, потому что не весь контекст в настоящее время существует в виде высококачественных данных. Как я писал ранее, многое из этого не записано и существует только в виде институциональных знаний.
Эта информация, наряду с сопровождающими ее метаданными, должна быть доступна для ИИ. Именно здесь на помощь приходят продукты данных. Они служат как единицей контекста для агентов ИИ, так и методологией для внедрения контекстной инженерии на практике.
По сути, продукты данных — это и есть контекстная инженерия. Прежде чем вы сможете предоставить контекст ИИ, вам необходимо выполнить важную предварительную работу по курированию и упаковке вашего контекста в виде продуктов данных.
Продукты данных делают контекст доступным для ИИ
Одно дело — определить необходимый вам контекст. Следующая задача — превратить его в данные и обеспечить их доступность и пригодность для использования всеми авторизованными пользователями по всей компании.
Продукты данных уникально подходят для этой роли. Продукт данных — это курируемая, доступная оболочка, созданная вокруг высококачественных наборов данных и объединенная с метаданными и бизнес-логикой. Для получения дополнительной информации о продуктах данных в целом, посмотрите мое видео ниже.
Важно отметить, что продукты данных — это не просто необработанные данные. Это оболочка вокруг необработанных данных, созданная с определенной целью для конкретной доменной команды. Продукт данных содержит богатые метаданные, включая версионирование, документацию и правила контроля доступа.
Эта насыщенность придает продуктам данных множество атрибутов, которых часто не хватает необработанным данным, включая возможность поиска, адресацию, самоописание, интероперабельность, надежность и безопасность.
Продукты данных воплощают контекстную инженерию на практике
Продукты данных всегда обеспечивали контекст для аналитики. Теперь эта роль приобретает повышенное значение в эпоху ИИ. Это связано с тем, что создание продуктов данных — это то же самое, что внедрение контекстной инженерии на практике.
Объединение данных и контекста на одном уровне
Данные, включенные в продукт данных, могут находиться в нескольких местах. Это затрудняет их обнаружение и использование агентами ИИ.
Продукты данных используют федерацию данных для объединения данных из нескольких источников, расположенных по всей вашей организации. Вместо того чтобы зависеть от длительного и дорогостоящего процесса централизации данных, продукты данных используют данные там, где они находятся сейчас, превращая необработанные данные в единую высококачественную единицу контекста.
Поскольку продукты данных интероперабельны, новые продукты данных могут создаваться как комбинации других продуктов данных, сочетаясь друг с другом по мере необходимости. Ваши продукты данных представляют собой федеративный, распределенный уровень данных, который предоставляет не просто данные, а смысл, стоящий за этими данными.
Поддержка нескольких моделей потребления
Помимо метаданных, продукты данных поставляются в комплекте с бизнес-логикой, лежащей в основе их бизнес-кейса. Они раскрывают эту логику, предоставляя интерфейсы, необходимые для доступа к их данным, включая базовый семантический слой, контракты данных и программные интерфейсы, такие как API и потоки событий.
В этом смысле продукты данных являются предшественниками остальных ваших усилий в области агентного ИИ. Они выступают в качестве необходимых строительных блоков, требуемых для того, чтобы агенты могли давать своевременные и точные ответы на запросы клиентов.
Однако, как только эта работа по контекстной инженерии выполнена, вы можете воспользоваться преимуществами экономии на масштабе в своих усилиях по ИИ. Это связано с тем, что продукты данных превращают данные в многократно используемые единицы контекста, которые могут потребляться многими различными типами потребителей данных.
Большинство усилий по трансформации данных направлены на то, чтобы сделать данные доступными для одного формата потребления, например, аналитической панели или приложения для работы с данными. Продукт данных может одинаково эффективно использоваться агентом ИИ, командой разработчиков приложений, создающей новое приложение на основе данных для отдела обслуживания клиентов, или даже конечными пользователями через интерфейсы на разговорном языке, такие как Starburst (AIDA).
Управление доступом к данным
Одной из проблем ИИ является контроль и мониторинг доступа к данным. Частично это заключается в обеспечении того, чтобы данные, к которым обращаются ваши агенты, были высококачественными, надежными и авторитетными.
Не менее актуальной проблемой является безопасность данных и соответствие требованиям. Без надлежащих элементов управления авторизацией и ограничений управления, агент ИИ может попытаться получить доступ к конфиденциальным данным, к которым он никогда не должен был прикасаться. Этот вопрос приобрел повышенное значение, учитывая недавние заголовки о неконтролируемых агентах ИИ.
Продукты данных выступают не только как единица доступа, но и как единица управления данными. Это связано с тем, что продукты данных действуют как контракт, в котором определения полей, право собственности и политики доступа объединены с данными.
Используя такую платформу, как Starburst, для создания и управления продуктами данных, вы можете определять гранулярные правила доступа к данным для обеспечения соблюдения требований безопасности и соответствия нормативным требованиям. Управление доступом на основе ролей (RBAC) может предоставлять пользователям разрешения на целые продукты данных и каталоги. Управление доступом на основе атрибутов (ABAC) может обеспечивать гранулярные разрешения, такие как маскирование персонально идентифицируемой информации (PII) от пользователей и агентов ИИ без соответствующего уровня допуска.
Продукты данных упрощают аудит доступа, предоставляя единую точку доступа к данным, которая обеспечивает централизованное ведение журналов и отслеживание происхождения данных. Это предотвращает рассогласование политик безопасности при изменении схемы данных.
Компании, работающие в регулируемых отраслях, таких как государственное управление и здравоохранение, часто должны доказывать, что они должным образом обрабатывают конфиденциальные данные клиентов в соответствии со строгими требованиями. В этом контексте продукты данных обеспечивают последовательный подход к контролю доступа и ведению журналов во всем вашем распределенном ландшафте данных, независимо от того, находятся ли ваши данные в полностью управляемых облачных средах, самостоятельно управляемых развертываниях или в их сочетании.
Масштабирование ИИ с помощью контекста, управляемого продуктами данных
Если вы хотите, чтобы ваш ИИ действительно работал в вашей организации, вам необходимо заняться контекстной инженерией. Самый простой способ сделать это — использовать продукты данных. Единственный способ решить кризис контекста в ИИ — это структурировать ваш контекст в высококачественные продукты данных, доступные для множества потребителей.
Продукты данных существуют уже довольно давно. Но многие люди до сих пор не понимают, что именно они собой представляют или, что еще важнее, как создавать их в качестве инструментов для передачи контекста.
Именно поэтому мы создали бесплатную электронную книгу, в которой подробно рассказывается о том, что такое продукты данных и как ими управлять. Скачайте ее сегодня и узнайте, как перейти от полностью централизованного, управляемого ИТ-отделом подхода к данным к федеративной и интероперабельной модели, которая масштабируется в эпоху ИИ.
