Когда код становится в изобилии, доверие становится дефицитом.
Именно об этом говорит генеральный директор GitLab Билл Стейплс в своей недавней статье: ИИ снижает стоимость создания программного обеспечения, а все, что связано с производством — включая контекст, верификацию, управление и подтверждение, — становится пропорционально более важным. И безопасность, и совместная работа являются ключевыми элементами формирования доверия. ИИ расширяет круг того, чему необходимо доверяться, включая агентов, которые теперь пишут программное обеспечение, наряду с самим создаваемым ПО.
Именно поэтому GitLab присоединяется к Open Secure AI Alliance, который объединяет организации для разработки и обмена открытыми технологиями, методами и инструментами, помогающими защитить программное обеспечение и агентов в эпоху ИИ. Мы присоединились к нему, потому что верим: безопасность ИИ наиболее сильна тогда, когда ее может проверять, тестировать, адаптировать и улучшать широкое сообщество защитников.
Это продолжение работы, которую GitLab уже ведет в открытом доступе.
AI Gateway от GitLab — это автономный сервис, обеспечивающий доступ к функциям ИИ на GitLab.com, GitLab Dedicated и в самоуправляемых инстансах. Его исходный код является общедоступным, как и конфигурации рабочих процессов агентов, выполняющихся в AI Gateway, включая конфигурации для создания кода, проверки кода, обнаружения ложных срабатываний секретов и проверки безопасности.
- Конфигурация Developer Flow
- Конфигурация Code Review Flow
- Поток проверки безопасности (Security Review Flow)
Эти примеры отражают важный принцип: система ИИ — это больше, чем стоящая за ней модель. Доверие зависит от окружающей обвязки, рабочих процессов, средств контроля, контекста и оценки. Открытые инструменты облегчают защитникам понимание того, как работают эти элементы, тестирование их на предмет реальных рисков и их улучшение с течением времени.
Мы также считаем, что предприятиям нужен выбор. Организации должны иметь возможность использовать проприетарные модели и защищенные модели с открытыми весами, выбирать подходящую модель для конкретной задачи и принимать решения о том, где и как работают системы ИИ. Независимость от моделей и облаков помогает сохранить эту гибкость, в то время как открытая экосистема предоставляет клиентам больше возможностей для создания, управления и защиты ИИ.
Прозрачность также должна охватывать риски. Наша документация по угрозам безопасности в агентских системах описывает векторы атак, применимые к нашим собственным агентам, и средства контроля, применимые в каждой среде. Мы относимся к нашим агентам как к привилегированным участникам: каждый из них работает с явной идентичностью, ограниченными инструментами и разрешениями, а также с действиями, которые можно подвергнуть аудиту. Мы делимся тем, как это работает, через нашу документацию по составной идентичности (composite identity), песочнице выполнения (sandboxed execution), ограничениям инструментов для каждого потока (per-flow tool restrictions) и управлению инструментами агентов (agent tool governance).
Благодаря нашему участию в Open Secure AI Alliance у GitLab появляется возможность поделиться практической работой, которая уже ведется нашими командами по ИИ и безопасности, а также перенять опыт у более широкого сообщества.Наша цель — не противопоставлять модели с открытыми весами закрытым моделям. Наша цель — помочь обеспечить защитникам прозрачность, контроль и гибкость, необходимые для создания заслуживающих доверия систем ИИ.
Безопасность ИИ должна создаваться в открытом доступе. Узнайте больше об Open Secure AI Alliance.
