Версия 5.0 позволяет поручать реальную работу модели, которую вы запускаете самостоятельно. Например, попросите сделать одностраничную сводку заметок из папки, и чат прочитает их, а затем сохранит файл Word в вашем разделе «Файлы». Если вам не понравился результат, на вкладке «История» можно отменить это изменение.
Запускайте открытые модели для чата, работы с изображениями, речи и видео на собственных устройствах. API поддерживает форматы OpenAI и Anthropic. Ваша команда получает в распоряжение чаты, файлы и документы, а помощник может писать и выполнять код. Он работает на ноутбуке, сервере, в контейнере или в Kubernetes. GPU не требуется, хотя с ним будет быстрее. Версия 5.0 добавляет «Проекты», десктопное приложение для macOS и Linux, а также поддержку документов, файлов и совместного использования в команде.
В полном списке изменений зафиксировано каждое обновление. Вот что нового появилось со времен ветки 4.x.
Передаем эстафету
Мы создали этот фильм с помощью LocalAI: изображения, голоса и музыку. В нем показано пять задач, которые решает версия 5.0: статья для прессы, бюджет, презентация, плакат и работа при отключенной сети.
Один API для моделей любого типа
Один сервер запускает модели для работы с текстом, изображениями, видео, музыкой и речью. У каждой есть собственная конечная точка:
- Текст и зрение: чат, дополнение текста, вызовы инструментов, понимание изображений и обнаружение объектов. Помимо API OpenAI, LocalAI отвечает в формате Anthropic (/v1/messages).
- Изображения и видео: генерация изображений по текстовому запросу и видео через конечную точку /video.
- Музыка и звук: создание музыки и звуковых эффектов по текстовому запросу с помощью /v1/sound-generation.
- Речь: преобразование текста в речь, транскрипция, определение активности голоса и распознавание говорящего. API Realtime принимает голос на входе и возвращает голос на выходе. Функции синтеза речи и генерации звуков также поддерживают формат ElevenLabs.
- Поиск: векторные представления (эмбеддинги) и реранкер для поиска по вашим собственным данным.
Модель работает на бэкенде. LocalAI скачивает бэкенд при первом использовании модели, которой он требуется. В библиотеке их более 80. Таблица совместимости показывает, какой бэкенд запускает то или иное семейство моделей, а раздел «На что способны модели» содержит страницу для каждого типа. Для нескольких машин распределенный режим позволяет распространить модели по кластеру.
Проекты
Проект объединяет чаты вокруг одной папки в ваших собственных файлах. В папке хранятся материалы и папка memory/ с заметками, которые читают чаты проекта. Модель может предложить заметку, и вы подтверждаете ее сохранение. В проекте можно задать параметры по умолчанию для новых чатов (навыки, дополнения, MCP-серверы, подключения и базу знаний). Вы можете создать агента из проекта и предоставить соавтору доступ к папке в режиме «только чтение» или «чтение и запись». Проекты находятся на боковой панели, а чип «Проект» на главной странице запускает чат внутри него. Проекты упорядочивают чаты. Они не ограничивают доступ: чат вне проекта все равно может открывать эти файлы из вашей домашней папки. Прочитайте документацию по проектам.
Десктопное приложение
Теперь у LocalAI есть десктопное приложение для macOS и Linux. Оно устанавливает, обновляет, запускает и останавливает сервер LocalAI на вашем компьютере, а также отображает веб-интерфейс в собственном окне со строкой состояния сервера. При первом запуске вы можете выбрать: запустить LocalAI на этом компьютере или подключиться к удаленному серверу. Вы можете хранить несколько серверов и выбрать сервер по умолчанию. Приложение проверяет наличие новой версии сервера один раз в день и никогда не устанавливает ее без вашего разрешения.
На компьютерах Mac с процессором Intel используйте контейнер, так как для него нет бинарного файла macOS. Скачайте LocalAI.dmg для Mac с процессором Apple Silicon или версию для Linux. ARM64 AppImage доступен как LocalAI-Launcher-arm64.AppImage на странице релизов. Руководство по десктопному приложению описывает первый запуск, каналы обновлений и устранение неполадок. Оно читает ту же папку ~/.localai, что и старый лаунчер, поэтому ваши модели останутся на месте.
Создание документов из чата
Попросите сделать одностраничную сводку заметок из папки, и чат прочитает их и сохранит файл Word. Дополнение Simple Office содержит 11 инструментов: чтение, редактирование и создание файлов для Word, Excel и PowerPoint, а также чтение и создание для PDF. Файлы сохраняются в вашем разделе «Файлы». Если вы создаете файл, а такое имя уже занято, новый файл сохраняется рядом со старым, при этом старый файл не изменяется (#13029).
Чего оно не делает: оно не редактирует файлы PDF, его средство записи PDF поддерживает только символы Latin-1, а макеты очень простые. Для создания диаграмм или точной верстки используйте «Песочницу» (Sandbox), описанную ниже.
Храните файлы в LocalAI
Появилась страница «Файлы». Загружайте файлы и папки, перетаскивайте строки между папками, предварительно просматривайте документы и распаковывайте архивы. Форматы ZIP и TAR (а также с gzip, bzip2, xz, zstd, brotli, lz4 или snappy) работают «из коробки». Форматы 7z и RAR отключены, пока администратор их не включит. Вы можете выполнять поиск по имени и по тексту внутри документов. Удаление перемещает файл в корзину, а вкладка «История» позволяет отменить изменения.
Чат использует те же файлы. Прикрепите файл к сообщению или попросите модель читать и записывать файлы в ваших папках. То, что изменяет модель, попадает в ту же историю, что и ваши собственные изменения, поэтому это можно отменить.
Запуск Python для ваших файлов
Дополнение Sandbox предоставляет чату инструмент bash, который работает в изолированной среде выполнения с подключенными файлами. Запросите «гистограмму чисел из sales.csv в формате PNG», и модель прочитает файл, запустит скрипт Python и сохранит изображение в «Файлах». Изменения, внесенные командой, сохраняются как единое действие, которое можно отменить.
По умолчанию у Sandbox нет доступа к сети, поэтому команда pip install не сработает, пока администратор не разрешит реестры пакетов или публичные сайты. Чат может запросить более широкие настройки, но никогда не получит больше, чем разрешил администратор. На данный момент дополнение Sandbox доступно для Linux. Его пакет macOS для Apple Silicon собран, но еще не выпущен.
Когда учетные записи пользователей включены, появляются роли администратора и пользователя. У каждого человека есть свои файлы, чаты и сохраненные агенты, и ничто не является общим, пока владелец сам этим не поделится. Вы можете предоставить доступ к папке, сохраненному агенту, коллекции базы знаний или подключению одному человеку или всем сразу. Администратор также может создавать общие папки и выбирать, кто ими пользуется (#13130).
Только вы можете поделиться папкой из своего собственного браузера. Никакая модель, агент или дополнение не могут поделиться чем-либо или отозвать доступ.
Страницы и главная страница
Попросите помощника «создать доску задач», и он напишет небольшую HTML-страницу, которая хранит данные в ваших файлах. Страница работает в изолированном фрейме без доступа к сети. Виджет на главной странице может отображать список из файла, а триггер, который вы подтверждаете, может перезаписывать этот файл каждое утро.
Для обычных пользователей на сервере с учетными записями страницы отключены, пока их не включит администратор. То же самое касается сохраненных агентов, триггеров и подключений. Каждый запланированный запуск представляет собой обычный диалог в чате, поэтому он расходует токены модели.
Дополнения
Дополнение — это отдельная программа, которая предоставляет LocalAI новые инструменты. Администратор устанавливает ее из библиотеки, и ее инструменты появляются в меню «Инструменты» чата, где их можно отключить для конкретного диалога. В библиотеке есть дополнения Tables для типизированных баз данных, которые чат может читать и изменять, а также интеграции с чат-приложениями, такими как Slack и Discord, позволяющие людям общаться с сохраненным агентом из этих приложений. Доступны и другие дополнения, а вы можете создавать свои собственные.
Надстройка работает от имени пользователя операционной системы, под которым запущен LocalAI. Устанавливайте только те надстройки, которым вы доверяете. Только Песочница изолирует то, что она запускает. Бот чат-приложения никому не отвечает, пока вы не добавите разрешенных отправителей.
Чаты, которые хранятся на сервере
Теперь чаты работают на сервере, поэтому чат продолжает работать, когда вы закрываете вкладку. Модель может передавать работу субагентам, а длинный чат сжимается для вас (#12918). Совместимая с OpenAI конечная точка /v1/chat/completions остается без изменений.
Новый внешний вид, а вкладка Home предлагает модель для вашего компьютера
В версии 5.0 появились новая тема, логотип и талисман (#13187). При чистой установке вкладка Home предлагает модели для обнаруженного ей оборудования (#13199).
Попробуйте
Проще всего начать с настольного приложения, указанного выше. Чтобы установить сервер на Linux или macOS:
Или с помощью контейнера:
Откройте http://localhost:8080. Для вашего первого документа установите надстройку Simple Office из раздела Надстройки и попросите чат создать файл Word. Если аутентификация отключена, вы являетесь администратором и можете сделать все это. Небольшая модель на CPU загружается и отвечает медленно.
Известные ограничения
- Сборочный релиз читает библиотеку надстроек, которая была собрана и подписана для этого релиза. Сборка из исходного кода читает канал разработки, который может изменяться.
- Надстройка Песочница на данный момент доступна только для Linux, а ее пакет для macOS на базе чипов Apple silicon еще не выпущен. Ни одна надстройка пока не собрана для Windows.
- Библиотеке надстроек требуется подключение к сети. Без него используйте частную библиотеку или ZIP-файл надстройки.
Если что-то у вас не работает, создайте тикет или задайте вопрос в Discord.







