Конференция NVIDIA GTC всегда была местом для общения с партнерами, клиентами и разработчиками, создающими решения на базе Haystack. Когда мы узнали, что GTC пройдет в Берлине, нашем родном городе, мы захотели извлечь из этого максимум пользы.
Помимо нашего присутствия на конференции, мы открыли наш штаб в качестве «Дома суверенитета» (House of Sovereignty): места встречи для тех, кто работает над тем, чтобы превратить потенциал ИИ в приложения, которым организации могут доверять, которые они могут совершенствовать и эксплуатировать на собственных условиях.
На панельных дискуссиях, демонстрациях, хакатоне, а также во время анонсов и бесед на нашем стенде одна тема красной нитью проходила через все мероприятия недели: суверенный ИИ требует экосистемы. Разработчики с открытым исходным кодом, поставщики инфраструктуры, создатели приложений и организации, внедряющие ИИ в работу, — каждый играет свою роль.
Открытие «Дома суверенитета»
Мы превратили наш берлинский штаб в пространство для встреч нашей экосистемы, обмена опытом и демонстрации того, что создают другие.
В ходе панельной дискуссии с Роберто Сгнаолином (Roberto Sgnaolin), Кристианом Кобелем (Christian Knobel) и Свеном Гиссельбахом (Sven Giesselbach) мы обсудили, как организации могут сочетать суверенитет с быстрыми циклами инноваций. Это практическая задача: как внедрять новые возможности, сохраняя при этом контроль над своими данными, моделями, инфраструктурой и приложениями? И как сохранить гибкость для изменения этих решений по мере развития технологий и требований?
Демонстрации оживили эти вопросы, а еда, напитки и музыка дали гостям время продолжить общение.
Наш общественный хакатон открыл другую перспективу. Разработчики собрались вместе, чтобы создавать приложения на базе Haystack, учиться друг у друга и работать бок о бок с нашей командой. Объединение лидеров и практиков в одном пространстве помогло связать задачи, стоящие перед организациями, с инженерной работой, необходимой для их решения.
Демонстрация того, как агенты могут совершенствоваться под надзором человека
На сцене GTC Мальте Пич (Malte Pietsch) и Юлиан Риш (Julian Risch) представили доклад «Эволюция в рамках ограничений: безопасные самосовершенствующиеся агенты для локального ИИ» (Evolve Within Bounds: Secure, Self-Improving Agents for On-Prem AI).
В выступлении была затронута проблема, которая становится все более важной после вывода агентов в продуктивную среду: поддержание их эффективности по мере изменения их данных, инструментов и рабочей среды.
Во время GTC мы анонсировали открытую эталонную архитектуру, разработанную в ходе нашего технического сотрудничества с NVIDIA. Она объединяет оркестрацию Haystack с открытыми моделями и программным обеспечением NVIDIA для оптимизации и управляемого выполнения.
Демонстрация по кибербезопасности показала агента, анализирующего конфиденциальный исходный код на наличие уязвимостей, а второй агент изучал его работу и предлагал улучшения. Предлагаемые изменения оцениваются перед внедрением, а средства контроля утверждения, аудита и отката позволяют людям сохранять контроль над процессом.
Для разработчиков, желающих изучить подобную реализацию, наше руководство по агенту анализа логов показывает, как агент Haystack, запущенный на NVIDIA DGX Spark, может анализировать трассировки, тестировать изменения конфигурации и рекомендовать улучшения с использованием локальных моделей.
Практическое применение ИИ для критически важных задач
Милош Русич (Milos Rusic) присоединился к Андреасу Симону Рюкригелю (Andreas Simon Rueckriegel), Михаилу Фрингсу (Michael Frings) и Александру Хайнриху (Alexander Heinrich) на сцене, чтобы обсудить внедрение ИИ в критически важных сценариях и средах с жесткими требованиями к безопасности.
Эти обсуждения выходят за рамки возможностей моделей. Организациям также необходимо контролировать доступ агента, понимать, как он приходит к результату, и решать, где работает готовое приложение.
Мы также announced new agent optimization capabilities and custom model services, уделяя особое внимание снижению затрат на эксплуатацию высококачественных суверенных ИИ-агентов.
В совокупности эти достижения отражают нашу главную цель в deepset: помогать командам создавать, запускать, совершенствовать и контролировать ИИ как целостную систему.
Взаимодействие со всей экосистемой
Одним из самых ярких моментов недели стал визит Дженсена Хуанга (Jensen Huang) и Мартина Блессинга (Martin Blessing), личного уполномоченного федерального канцлера Германии Фридриха Мерца по вопросам привлечения прямых иностранных инвестиций в Германию, на наш стенд. Они обсудили с Милошем Русичем, Мальте Пичем и командой deepset вопросы открытого кода и суверенного ИИ. Он также оставил автограф на нашем NVIDIA DGX Spark — именно на этом устройстве работал работающий в реальном времени агент кибербезопасности, разработанный в сотрудничестве с NVIDIA и представленный в нашем анонсе и презентации на GTC.
У нас также была возможность встретиться с Карстеном Вильдбергером (Karsten Wildberger), министром цифровых технологий Германии, и рассказать о влиянии работы deepset в Европе и за ее пределами.
Мы также обсудили совместные планы с партнерами, включая n8n и Яна Оберхаузера (Jan Oberhauser), Materna, secunet и Schwarz Digits. Этот обмен опытом играет важную роль в практическом применении ИИ: он объединяет опыт в области приложений, инфраструктуру, реализацию и технологии с открытым исходным кодом вокруг реальных потребностей организаций.
Анонс следующих шагов для суверенных ИИ-агентов
Помимо мероприятий и демонстраций, во время GTC мы сделали два важных объявления.
Открытая эталонная архитектура для самосовершенствующихся агентов. Разработанная в рамках нашего технического сотрудничества с NVIDIA, для оптимизации и управляемого выполнения. Она предоставляет организациям основу для агентов, способных обучаться на основе обратной связи и предлагать улучшения, сохраняя при этом конфиденциальные рабочие нагрузки на контролируемой ими инфраструктуре, включая локально управляемые и изолированные (air-gapped) среды.
Оптимизация агентов и сервисы кастомных моделей. Мы также , чтобы помочь государственным структурам, оборонному сектору и промышленности снизить затраты на эксплуатацию ИИ при сохранении высокого качества. Haystack Enterprise Platform объединяет разработку, выполнение, оптимизацию и управление, предоставляя возможности для сравнения эксплуатационных расходов, оценки качества ответов и отслеживания проблем. Сервисы кастомных моделей дополняют эту работу, помогая организациям адаптировать специализированные модели для своих приложений.
Компания NVIDIA также упомянула deepset в своем обзоре европейских проектов государственного сектора, использующих открытые модели. В статье подчеркивается, что платформа Haystack Enterprise Platform является основой платформы AI@EC Европейской комиссии, и описывается расширение нашей платформы. В ней также рассказывается о планируемом предложении суверенного облака от secunet, NVIDIA, Red Hat и deepset для организаций, работающих с секретной информацией.
В совокупности эти анонсы демонстрируют, как мы помогаем организациям создавать, запускать, совершенствовать и контролировать ИИ, сохраняя при этом полный контроль над своими моделями, данными и инфраструктурой.
Продолжение работы
Конференция GTC в Берлине объединила людей, которые часто работают над разными аспектами одной и той же задачи. Возможность поделиться опытом, создавать решения вместе и изучать новые направления сотрудничества сделала эту неделю особенной.
Суверенитет означает наличие выбора и возможность его изменения. Сотрудничество делает этот выбор более надежным: больше возможностей для использования, больше экспертных знаний для обучения и больше способов внедрения надежного ИИ в производство.
Спасибо всем, кто посетил наш стенд, присоединился к нам в «Доме суверенитета», создавал решения вместе с нами на хакатоне или делился своими разработками на сцене. И спасибо команде deepset, партнерам, клиентам и нашему сообществу за то, что все это стало возможным.
Готовы сделать следующий шаг?
- Запланируйте встречу с нашей командой, чтобы обсудить ваши проекты в области ИИ
- Изучите платформу Haystack Enterprise Platform
- Начните работу с фреймворком с открытым исходным кодом Haystack
/)
.png)
.png)
