Сегодня Red Hat анонсировала asago, совместный проект по безопасности ИИ с открытым исходным кодом, созданный в партнерстве с Alquimia AI, Brave Software, EvalEval coalition, IBM Research, Междисциплинарным университетом трансформации Австрии, Microsoft, Лабораторией Линкольна Массачусетского технологического института (MIT Lincoln Laboratory), Университетом штата Северная Каролина, NVIDIA и Институтом Алана Тьюринга. В этом посте в блоге я хотел бы подробнее рассказать о том, почему мы сочли необходимым создание нового сообщества, к чему мы стремимся и какова текущая ситуация.
Экосистема безопасности ИИ с открытым исходным кодом весьма богата. Существует множество отличных и зрелых проектов в таких областях, как защитные экраны (guardrails), оценка (evals), имитация атак (red teaming) и безопасность агентов, которые дополняются комплексными фреймворками рисков, онтологиями и маппингом. Это важные проекты, которые нуждаются в дальнейшем развитии. В Red Hat наша команда по безопасности ИИ сотрудничает со многими из этих апстрим-сообществ и вносит свой вклад в их работу, и мы намерены продолжать это делать.
Дополнительные корпоративные проблемы в области безопасности ИИ
Однако, если посмотреть на типичную корпоративную организацию, она сталкивается с дополнительными трудностями помимо этих инструментов. Когда вы изучаете процесс внедрения нового, потенциально созданного на заказ агента ИИ, в нем задействованы более широкие группы заинтересованных сторон, активы и процессы, которых существующие инструменты не касаются.
Внедрение нового агента обычно проходит по следующему пути:
- Разработка политик: Команды создают письменные документы с политиками, в которых прописаны разрешенные и запрещенные действия организации в сфере ИИ, часто с отсылкой на внешнее регулирование, такое как Закон ЕС об искусственном интеллекте (EU AI Act), а иногда дополненные ограничениями для конкретных вариантов использования (например, более строгие правила для агентов, взаимодействующих с клиентами).
- Выявление рисков: Кто-то должен прочитать эти документы и определить, какие теоретические риски они содержат.
- Триаж рисков: Из этих теоретических рисков кто-то должен решить, какие из них применимы к данному конкретному агенту, а какие являются техническими рисками, которые действительно можно протестировать.
- Генерация сценариев и имитация атак (red teaming): Затем технические команды должны построить тестовые сценарии для этих рисков и запустить их через существующие фреймворки для имитации атак.
- Итерация: Полученные результаты интерпретируются, применяются защитные экраны или другие исправления, и агент тестируется повторно до тех пор, пока не будет готов к развертыванию. Если этот процесс выполняется вручную, он каждый раз создает огромные накладные расходы.
Этот процесс приводит к медленному утверждению и разорванному аудиторскому следу, из-за чего сложно продемонстрировать внутренним или внешним аудиторам, что именно было сделано.
asago стремится решить эти проблемы совместными усилиями
Проект asago призван облегчить эту задачу. Мы хотим помочь организациям перейти от политик в сфере ИИ к их практическому использованию без необходимости быть экспертами в области безопасности ИИ. Важно отметить, что наша цель — не заменить существующие инструменты безопасности ИИ, а выступить в качестве уровня оркестрации для объединения компонентов экосистемы. Мы будем интегрироваться с лучшими существующими инструментами и заполнять пробелы там, где их нет.
Разумеется, это должен быть совместный процесс. Мы не считаем, что какая-то одна организация может или должна делать это в одиночку. Учитывая огромное разнообразие документов политик, типов моделей и агентов, контекстов развертывания, нормативных требований и многого другого, проекту такого масштаба необходим широкий спектр точек зрения — разнообразие опыта здесь является обязательным условием.
Именно поэтому у нас есть прекрасные первоначальные партнеры, представляющие технологические компании, исследовательские институты, общественные коалиции и государственные организации. Вместе мы не просто напишем код, мы также позаботимся о том, чтобы задавать правильные вопросы и находить на них ответы. И как глобальное сообщество, мы должны убедиться, что у нас есть достаточное лингвистическое и географическое представительство. Мы запускаем проект с партнерами из США, Великобритании и Европы и настоятельно призываем других участников присоединиться к нам, чтобы расширить этот охват по ссылкам ниже.
Развивающаяся архитектура
Техническая архитектура будет развиваться вместе с проектом, но вот наше первоначальное видение. Процесс разделен на 2 части:
Рисунок 1: Синие узлы представляют данные. Желтые узлы представляют функциональные компоненты.
От документа политики к сценариям
В первой части риски извлекаются из документов политик и сопоставляются с картой рисков IBM Risk Atlas. Эти риски, проиндексированные в карточке рисков, представляют весь спектр теоретических рисков, которых касается политика. Некоторые из них будут техническими рисками, которые можно автоматизировать и решить с помощью asago. Основным компонентом для этого является сопоставитель политик (policy mapper).
Следующая задача — создание правильного сценария для проведения имитации атак. Это еще не привязано к конкретной библиотеке, но задача генератора сценариев заключается в оценке особенностей рассматриваемого агента в отношении выявленных рисков и в определении того, какие типы тестов и вспомогательный контекст необходимы. Они формируют сценарий. На этом этапе процесса у нас есть набор сценариев, которые можно оценить и против которых можно защитить конкретного агента в контексте политик организации.
Рисунок 2: Синие узлы представляют данные. Желтые узлы представляют функциональные компоненты.
Итеративный переход от сценариев к рекомендациям через имитацию атак
Во второй части, которая представляет собой итеративный цикл, мы берем эти сценарии и генерируем артефакты выполнения для соответствующих фреймворков имитации атак и/или оценки. Именно здесь начинается подход, основанный на данных. Популярные фреймворки оценки и имитации атак будут запускаться (на EvalHub) с использованием синтетически сгенерированных наборов данных и сред, соответствующих сценариям.
Результаты передаются в процесс рекомендаций для предоставления возможных исправлений в случае неудач при имитации атак. Мы предполагаем гибкий спектр рекомендаций, начиная с защитных экранов, но вероятно, что в дальнейшем он будет развиваться и включать другие компоненты стека. Важно отметить, что эти компоненты можно будет развертывать (например, с помощью пользовательских ресурсов Kubernetes (CR) или config maps) и тестировать повторно.
Важно отметить, что это лишь первоначальная архитектура. По мере развития сообщества эта архитектура будет развиваться вместе с ним.
Что вы можете сделать уже сегодня?
Хотя то, о чем мы объявили сегодня, подчеркивает дорожную карту и путь развития для сообщества, разработка идет активно, и вы уже можете начать экспериментировать с нашей работой. На ресурсе asago GitHub вы уже можете ознакомиться с результатами работы по сопоставлению политик here с примерами here. Вы также можете ознакомиться с midojo, фреймворком с открытым исходным кодом для тестирования безопасности агентов ИИ на предмет косвенных атак с внедрением подсказок (indirect prompt injection).
Наконец, вы и ваша организация можете присоединиться к нам в качестве участников. Нам необходим вклад от многих организаций, особенно с представительством из разных языковых, культурных и географических сред. Узнайте больше и примите участие here.
Лучший результат для безопасности ИИ — это тот, который не контролируется ни одной отдельной компанией. asago — это наш вклад в эту цель с инфраструктурой, создаваемой открыто сообществом с по-настоящему разнообразными взглядами. Проект находится на ранней стадии, и предстоит многое построить. И именно поэтому сейчас самое подходящее время для участия.
