NVIDIA RTX Spark переносит мощные возможности локальных вычислений на базе ИИ на ноутбуки под управлением Windows, включая новый Microsoft Surface Laptop. RTX Spark объединяет графику NVIDIA RTX, полный стек NVIDIA AI и до 128 ГБ унифицированной памяти для разработки, создания контента и игр в одном устройстве. Kilo Desktop от Anaconda задействует эту мощь в работе. Kilo Desktop — это единое приложение для создания решений с помощью ИИ, в котором вы можете планировать, писать, тестировать и отлаживать код. Его встроенный локальный сервер моделей запускает открытые модели на вашем оборудовании RTX, поэтому ваши запросы остаются на вашем устройстве.

Встроенная поддержка Anaconda для Windows on Arm приносит на эту платформу Python, conda и проверенные пакеты. RTX Spark запускает полноценную платформу NVIDIA CUDA — это тот же программный стек, который работает на различном оборудовании NVIDIA и который Anaconda поддерживает с помощью артефактов Python.

Kilo Desktop настраивает для вас среды conda прямо внутри приложения, поэтому ваше устройство RTX Spark готово к работе с Python уже с первого запроса. Начните с реальной задачи: изучите набор данных, исправьте неработающий скрипт или создайте ассистента, который выполняет поиск по файлам вашего проекта. Локальная модель и ваши инструменты работают в одном приложении.

Оборудование с запасом ресурсов для локальных моделей

RTX Spark объединяет процессорные ядра NVIDIA Grace с графическим процессором Blackwell RTX, а некоторые конфигурации включают до 128 ГБ унифицированной памяти. Поскольку процессор и графический чип разделяют эту память, у вас появляется пространство для более крупных моделей и большего объема контекста, необходимого им в процессе работы. NVIDIA также обеспечивает нативную поддержку CUDA на платформе. Узнайте больше об RTX Spark.

Что касается программной части, поддержка Windows on Arm от Anaconda обеспечивает нативный Python, более 2500 пакетов conda и проверенные библиотеки. В Kilo Desktop вы управляете средами проекта в том же приложении, где работаете с моделью, поэтому ваш код, блокноты и данные остаются вместе.

Интеграция Nemotron в проект

Семейство NVIDIA Nemotron включает открытые модели, созданные для рассуждений и использования инструментов, что критически важно, когда агенту приходится выполнять несколько этапов работы. Подходящая модель Nemotron может интерпретировать запрос, решить, какой инструмент вызвать, и использовать результат для выбора следующего действия. Ознакомьтесь с примерами Nemotron.

Выберите версию модели, которая соответствует объему памяти вашей машины на базе RTX, и импортируйте файлы моделей GGUF напрямую во встроенный сервер Kilo Desktop, чтобы добавить их в средство выбора моделей агента. Для работы с агентами выберите модель, поддерживающую вызов инструментов, а затем включите инструменты кодирования и инструкции в ее настройках. Настройки локальных моделей.

При выборе локального инференса ваши запросы обрабатываются на вашем устройстве, что сохраняет локальность вашего рабочего процесса.

Создание агента под реальный вопрос

Вот гипотетический пример. Команда продукта хочет выяснить, почему вырос показатель возвратов, и все начинается с папки с CSV-файлами. В Kilo Desktop разработчик может попросить агента изучить столбцы, отметить пропущенные значения и написать блокнот Python, который сравнивает уровень возвратов по продуктам и месяцам.

Разработчик проверяет код и результаты, а затем просит агента изучить самые масштабные изменения. Python выполняет вычисления, в то время как локальная модель руководит процессом и объясняет, что показывают цифры. Когда блокнот открыт рядом с чатом, анализ легко проверить и скорректировать.

Аналогичный подход работает для ассистента по работе с документами, агента по кодированию, который запускает тесты вашего проекта, или рабочего процесса, превращающего новые локальные файлы в отчет. Каждый из них начинается с конкретной задачи и инструментов, необходимых модели для ее выполнения, причем весь процесс разработки можно запускать локально на ПК с Windows на базе NVIDIA RTX Spark.

Получите первый локальный ответ менее чем за пять минут

После установки Kilo Desktop, файла модели и пакетов вашего проекта целью является получение первого локального ответа менее чем за пять минут. Первоначальная загрузка и настройка занимают больше времени в зависимости от вашего соединения и выбранной модели.

Откройте Kilo Desktop, войдите в систему и выберите папку своего проекта.
Выберите среду conda проекта или импортируйте ее файл environment.yml.
Импортируйте совместимую модель Nemotron, запустите сервер моделей и выберите модель в чате.
Включите инструменты кодирования для модели, которая их поддерживает, а затем дайте ей небольшую задачу, например объяснить файл на Python.

Этот первый ответ послужит отправной точкой. После этого добавляйте инструменты и пробуйте более сложные задачи, проверяя результаты модели. В руководстве по локальному инференсу Kilo рассказывается об импорте и выборе модели.

Храните настройки вместе с проектом

По мере роста проекта сохраняйте его требования к Python в файле environment.yml. Записывайте версию модели и настройки рядом с кодом, чтобы коллеги с совместимым оборудованием могли воссоздать рабочий процесс. Kilo Desktop умеет создавать и импортировать среды conda, что позволяет удерживать эти зависимости вместе с проектом.

Чтобы начать работу, скачайте Kilo Desktop от Anaconda, выберите совместимую локальную модель и поставьте ей задачу из одного из ваших собственных проектов. Модель работает на вашем RTX Spark, а ваш код, блокноты и среды находятся в Kilo Desktop.