Большинство организаций уже перешли от вопроса о том, стоит ли использовать ИИ. Теперь сложнее ответить на вопрос, могут ли они доказать, что используемый ими ИИ работает так, как должен.

Этот разрыв — причина, по которой мы пишем это вместе. Сегодня Collibra объявила о приобретении Trail ML, мюнхенской компании по управлению ИИ, основанной в 2023 году Анной Шпицнагель, Николаусом Пингером и Свеном Хёльцелем. Возможности Trail станут частью Collibra AI Command Center. Вот что это означает и почему мы считаем это важным для всех, кто отвечает за ИИ в крупной организации.

Когда ИИ существовал только в рамках пилотных проектов, управление могло ограничиваться документами. Команда сопоставляла структуру управления с набором требований, писала политики, проводила ручную оценку и фиксировала результаты. Это никогда не было захватывающей задачей, но она была выполнимой, поскольку системы менялись медленно, а люди, оценивающие их, успевали за изменениями.

Это уже не наш мир. Модели переобучаются. Агенты вызывают инструменты, взаимодействуют с системами и работают с данными без участия человека в каждом цикле. Нормативные требования постоянно развиваются. Требование, записанное в электронной таблице, никак не помешает агенту совершить действие, которое он не должен совершать, а оценка, завершенная в марте, мало что говорит о системе, которая была повторно развернута в июне.

Знание того, какие правила применяются, — это база. Организации, которые будут масштабировать ИИ с уверенностью, — это те, кто может постоянно отвечать на четыре вопроса: какой ИИ работает, какие средства контроля должны применяться, работают ли эти средства контроля и применяются ли они там, где работает ИИ. Ответы на эти вопросы вручную, для сотен моделей и агентов, не масштабируются и приводят к известной проблеме: «Я могу создать своего агента за день, но месяцами жду одобрения от отдела комплаенса». Мы бы сказали, что это никогда по-настоящему и не работало.

От нормативных требований к непрерывному обеспечению соблюдения

Компания Trail была основана на убеждении, что управление ИИ должно быть техническим и операционным, а не административным. Команды по управлению тратили большую часть своего времени на сбор доказательств, интерпретацию структур и отслеживание обновлений, и очень мало времени — на принятие решений.

Агенты Trail берут на себя эту рутинную работу. Они анализируют систему ИИ и ее окружение, определяют, какие структуры и средства контроля применимы, и выполняют многоэтапные рабочие процессы управления. Основываясь на профиле риска конкретной системы, соответствующие требования нормативных актов и стандартов, таких как EU AI Act, ISO 42001 и NIST AI Risk Management Framework, идентифицируются и превращаются в конкретные действия по управлению.

Вместо того чтобы просто фиксировать наличие требования, агенты читают доказательства, включая документы, электронные таблицы, техническую документацию и код. Они оценивают, внедрен ли контроль и эффективен ли он, объясняют свои рассуждения и связывают каждый вывод с его источником. Каждая оценка прослеживаема и подлежит аудиту, с проверкой и одобрением человеком там, где это необходимо, что гарантирует, что автоматизация не идет в ущерб подотчетности. По мере изменения базовых доказательств оценки могут автоматически обновляться, сохраняя точность и актуальность управления с течением времени.

От бумажных политик к принудительному управлению

Обеспечение соблюдения следует за управлением в производственную среду. Возможности Trail во время выполнения преобразуют требования управления в средства контроля того, к чему агент ИИ может получить доступ и что он может делать. Организации могут определять, какие инструменты может использовать агент, ограничивать конкретные действия и применять политики на основе рисков, данных и других факторов, включая безопасную блокировку действия при нарушении условия. Это превращает управление из статического набора политик в действенные меры защиты, помогая организациям масштабировать внедрение ИИ, сохраняя при этом контроль, подотчетность и доверие.

Автоматизированная видимость, контроль и соответствие требованиям ИИ

Автоматизация хороша лишь настолько, насколько хороши ее знания. Агент, оценивающий систему ИИ, должен понимать данные, с которыми работает эта система, системы, к которым она подключается, кто является ее владельцем и какие политики и нормативные требования применяются. У Trail не было такого представления в масштабах всего предприятия. Collibra потратила восемнадцать лет на его создание.

Collibra AI Command Center дает организациям единое место для понимания, управления и контроля ИИ в данных, моделях, приложениях и агентах. Он содержит информацию, которая придает ИИ смысл: какие варианты использования существуют, какие модели и агенты их обслуживают, с какими данными они работают, кто ими владеет и какие правила применяются.

Trail добавляет автоматизацию, которая заставляет эту информацию работать. Знание того, что представляет собой система ИИ, с какими данными она работает и кто является ее владельцем, может запустить правильные структуры, риски, средства контроля и рабочие процессы для этой системы. Агенты Trail могут оценивать средства контроля на основе реальных доказательств, выявлять пробелы и поддерживать оценки в актуальном состоянии по мере изменения систем и требований. В производственной среде Trail дополняет существующее обеспечение соблюдения политик Collibra средствами контроля времени выполнения для инструментов и действий агентов.

Результатом является то, что политики, нормативные акты и стандарты становятся операционными входными данными для того, как управляется ИИ, а не просто уровнем документации вокруг него.

Создание плоскости управления для корпоративного ИИ

Принцип, лежащий в основе всего этого, заключается в том, что управление ИИ не может останавливаться на определении политик или оценке рисков. По мере того как ИИ становится все более автономным, эти политики должны превращаться в средства контроля, которые постоянно применяются и обеспечиваются. Это прямая линия, которую мы строим: от того, что мы знаем о каждой системе ИИ, через нормативные требования и политики, к поведению во время выполнения.

Несколько моментов, которые мы хотим прояснить.

Люди остаются главными. Агенты берут на себя повторяющиеся части управления, такие как анализ доказательств, оценка средств контроля и координация рабочих процессов. Надзор и одобрение остаются за людьми. Мы считаем, что такое разделение труда — единственный надежный способ управления автономными системами, и именно так обе наши команды всегда подходили к этой проблеме.

Управление становится непрерывным. Вместо точечной оценки, которая устаревает к моменту подписания, организации получают непрерывный цикл: выявление пробелов, оценка средств контроля, обеспечение соблюдения требований, мониторинг изменений и адаптация по мере развития ИИ.

И организациям не нужно выбирать между быстрым внедрением ИИ и сохранением контроля над ним. Это убеждение объединило наши две команды, и именно к этому мы теперь стремимся как единое целое.

Если вы отвечаете за ИИ в своей организации, мы будем рады обсудить это. Чтобы узнать больше о Collibra AI Command Center и нашем подходе к управлению и контролю ИИ, посетите collibra.com.