llama.cpp позволяет запускать мультимодальные большие языковые модели (LLM) на самом разнообразном «железе» — от потребительских домашних ПК до высокопроизводительных корпоративных серверов. Благодаря квантованию, оптимизированным бэкендам и портативной реализации на C/C++, мы делаем вывод ИИ доступным на всех уровнях программного стека. Мы верим, что это самая легковесная, универсальная и разумная платформа для создания кроссплатформенных и конфиденциальных продуктов с использованием ИИ.
За 3,5 года с момента inception, проект сильно вырос, и множество сторонних приложений уже зависят от нашей работы. Мы ожидаем, что эта тенденция продолжится по мере того, как локальный ИИ и конфиденциальность приобретают все большее значение в нашей повседневной жизни. Каждая новая интеграция означает, что все больше разработчиков зависят от интерфейсов нашей библиотеки, и поэтому наличие гибкого, но стабильного API имеет первостепенное значение.
Сегодня мы выпускаем библиотеки версии v1.0.0, подчеркивая нашу ответственность перед этими разработчиками. В дальнейшем и llama.cpp, и ggml будут отражать несовместимость API и ABI с помощью увеличения мажорной версии. По мере роста популярности мы будем более строго относиться к тому, чтобы эти границы были очевидны для разработчиков зависимого ПО.
Релизы
Правила семантического обновления версий
Следующие правила применяются ко всем проектам ggml-org, использующим семантическое версионирование:
Распространение
Мы с нетерпением ждем расширения способов распространения программного обеспечения ggml-org, чтобы оно доходило до разработчиков и конечных пользователей. Для получения дополнительной информации о том, как добавить проекты ggml-org в ваши конвейеры сборки и выпуска, пожалуйста, ознакомьтесь со следующим discussion.
Разработка
Проект взрастил потрясающее сообщество с открытым исходным кодом, состоящее из высококвалифицированных и талантливых контрибьюторов. В условиях стремительного развития возможностей ИИ в области разработки программного обеспечения мы продолжаем адаптироваться и интегрировать LLM в наш цикл разработки продуманным и разумным образом. Поддержание высокого качества кодовой базы, контроль над архитектурой и понимание деталей реализации останутся нашими главными приоритетами.
Для поддержания более высоких темпов разработки мы продолжаем вкладывать все больше ресурсов в улучшение инфраструктуры непрерывной интеграции (CI) проектов. Благодаря таким технологиям HF, как HF Buckets и HF Jobs, мы можем масштабировать мощности, необходимые для гарантии корректности каждого изменения, попадающего в основные ветки (master). При аппаратной поддержке со стороны NVIDIA, AMD, Qualcomm, Arm, IBM и Intel мы продолжаем подключать новые хостинги с самозапускаемыми агентами на всех основных аппаратных платформах.
Поддержка бэкендов и моделей
Лежащий в основе llama.cpp механизм машинного обучения — ggml — разработан для работы практически на любом существующем «железе». Это достигается за счет реализации специализированных бэкендов ggml. Каждый бэкенд может быть скомпилирован как динамическая библиотека и при необходимости загружен во время выполнения.
Полный список реализованных в настоящее время бэкендов можно найти here.
Мы стремимся обеспечить постоянную поддержку всех архитектур моделей. В настоящее время llama.cpp поддерживает более 150 architecture variants, а также все основные методы ускоренной выборки (speculative decoding).
Благодарности
Команда llama.cpp в Hugging Face признательна за невероятную поддержку со стороны сообщества. Особая благодарность давним сопровождающим проекта и всем contributors. Это важный рубеж, который был бы невозможен без наших совместных усилий!
Дополнительные ресурсы
- ggml-org в Hugging Face
- ggml-org на Github
- Ознакомьтесь с Llama настольными приложениями для MacOS и Windows, созданными с любовью командой разработчиков llama.cpp и Hugging Face.
