Компания Gartner опубликовала свой первый квадрант развивающегося рынка для безопасности ИИ-приложений (Emerging Market Quadrant for AI Application Security — Startup Vendors), и компания Enkrypt AI от Anaconda получила статус Specialist.
Мы рассматриваем первый выпуск этого отчета как знак того, что безопасность ИИ-приложений становится самостоятельным рынком, в котором покупателям требуется помощь. Мы основали Enkrypt AI в июле 2022 года, за несколько месяцев до запуска ChatGPT. В то время службы безопасности, с которыми мы общались, все еще задавались вопросом, нужны ли ИИ вообще какие-либо собственные средства контроля. Сегодня они спрашивают, какие именно средства контроля следует внедрить до выпуска агента в работу.
Как мы понимаем определение рынка
Gartner определяет рынок безопасности ИИ-приложений как «технологии, которые защищают разработанные предприятиями ИИ-приложения и агенты путем объединения тестирования безопасности, управления рисками и защиты во время выполнения для обнаружения угроз, оповещения о них или их блокировки».
Это определение объединяет в одну категорию три дисциплины, которые, по нашему мнению, не работают по отдельности. Средства защиты (guardrails), созданные без тестирования, — это лишь догадки. Пока вы не атаковали агента, вы не знаете, каким уловкам он поддается, поэтому в итоге блокируете не то, что нужно, и пропускаете реальные угрозы. Тестирование без защиты в режиме реального времени дает отчет, но не обеспечивает защиту. И ни то, ни другое не дает комплаенс-командам того, что им нужно больше всего — доказательств того, что правила на бумаге соблюдаются в рабочей среде.
Компании, с которыми мы работаем, написали политики в сфере ИИ, но ни одна система не проверяет действия агента на их соответствие. Превращение этих письменных политик в средства контроля, которые срабатывают каждый раз при совершении агентом действий, — это направление, в котором, по нашему мнению, движется этот рынок.
Что мы наблюдаем на практике
Когда мы просканировали более 25 000 серверов Model Context Protocol (MCP) в течение двух месяцев, 73% из них имели хотя бы одну уязвимость. Команды подключают агентов к этим серверам гораздо быстрее, чем специалисты по безопасности успевают их проверять.
Риск сместился с того, что говорит модель, на то, что делает агент. Манипулируемый чат-бот дает плохой ответ. Манипулируемый агент изменяет запись, делится файлом или отправляет сообщение. Инструкции, скрытые на веб-странице или в документе, могут запустить эти действия без ведома пользователя.
Выбор модели меняет уровень риска. Модели от разных разработчиков реагируют на одни и те же атаки совершенно по-разному. Именно поэтому мы поддерживаем рейтинг безопасности LLM (LLM Safety Leaderboard), который оценивает более 200 больших языковых моделей от ведущих передовых разработчиков, чтобы команды могли видеть эти различия перед тем, как сделать выбор.
Что еще не решено
Тестирование и защитные барьеры сегодня проверяют ситуацию по одному шагу за раз: один промт, один ответ, один вызов инструмента. Самые серьезные сбои, с которыми мы сталкиваемся, разворачиваются в несколько этапов: полученный документ корректирует план агента, план выбирает инструмент, а инструмент выполняет действие, которого никто не планировал.
Никто, включая нас, еще полностью не решил задачу тестирования и контроля агента на протяжении всей цепочки его решений. Именно на этом будет сосредоточена большая часть наших исследований, и я ожидаю, что это определит содержание следующего выпуска отчета по этому рынку.
Какое место занимает Enkrypt AI
Мы создали наши продукты с уверенностью в том, что тестирование, защита в реальном времени и доказательства соблюдения нормативных требований должны работать вместе. Решение Agent Red Teaming проводит более 300 категорий состязательных тестов, чтобы найти уязвимости агентов до их выпуска. Решение Agent Guardrails реагирует на эти результаты в режиме реального времени, принимая решения менее чем за 15 миллисекунд. Решение Agent Policy Engine превращает письменные политики в принудительные средства контроля и регистрирует каждое решение для аудиторов. MCP Scanner и MCP Gateway охватывают инструменты, к которым подключаются агенты, а AI Data Risk Audit проверяет тренировочные данные, дообученные модели и эмбеддинги на предмет потенциальных угроз. Будучи частью компании Anaconda, эти средства контроля теперь интегрированы в Anaconda Platform, близко к тому месту, где команды создают и выпускают ИИ.
С чего начать
Если у вас есть агент в релизном плане на этот квартал, проведите для него red teaming до выпуска. Результаты покажут, какие защитные барьеры и политики ему необходимы, и дадут вашим специалистам по безопасности и комплаенс-контролю конкретные основания для подписания релиза.
Свяжитесь с командой Enkrypt AI, чтобы организовать оценку. Клиенты Gartner могут прочитать полный текст отчета на сайте gartner.com.
Часто задаваемые вопросы
Что такое квадрант развивающегося рынка Gartner?
Компания Gartner описывает его как «визуальный снимок, анализ и набор инсайтов, которые описывают рынок развивающихся технологий, рассматривают ключевые тренды и выделяют ключевых поставщиков и их возможности с помощью матрицы «два на два»». Поставщики распределяются по двум осям — «Потенциал реализации» (Potential to Execute) и «Потенциал рыночных инноваций» (Potential for Market Disruption), — образуя четыре квадранта: формирующие рынок (Market Shapers), задающие темп (Pace Setters), пионеры (Pioneers) и узкие специалисты (Specialists).
Почему ИИ-приложениям нужна собственная безопасность?
Традиционная безопасность приложений предполагает, что код ведет себя одинаково при каждом запуске. ИИ-приложения реагируют по-разному в зависимости от промтов, полученного контента и ответов инструментов, поэтому определенные риски проявляются только во время выполнения.
Где я могу прочитать полный отчет?
Клиенты Gartner могут получить к нему доступ на сайте Gartner.
Gartner, Emerging Market Quadrant for AI Application Security — Startup Vendors, Meghan Hollis, Dionisio Zumerle, Dennis Xu, Marissa Schmidt, 16 September 2026, ID G00856640.
GARTNER является товарным знаком компании Gartner, Inc. и/или ее аффилированных лиц. Gartner не одобряет ни одну компанию, поставщика, продукт или услугу, описанные в ее публикациях, и не рекомендует пользователям технологий выбирать только тех поставщиков, которые имеют самые высокие рейтинги или другие отличия. Публикации Gartner состоят из мнений аналитической организации Gartner по вопросам бизнеса и технологий и не должны рассматриваться как констатация фактов. Gartner отказывается от всех гарантий, выраженных или подразумеваемых, в отношении данной публикации, включая любые гарантии коммерческой пригодности или пригодности для конкретной цели.
