Представленный прошлой весной проект Granite Switch обеспечивает модульный подход к разработке моделей. Теперь модели Granite Switch 4.1, оснащенные адаптером Decision и самой быстрой моделью ASR в таблице лидеров OpenASR, могут эффективно переключаться между ответами на естественном языке, общими и специализированными решениями и задачами преобразования речи в текст — и все это через одну размещенную конечную точку.
В частности, модели Granite-Switch-4.1-8B и -30B настроены на включение:
- Нового адаптера Decision aLoRA для принятия решений общего назначения (например, v1/systemone),
- Специализированного адаптера Guardian aLoRA, который в среднем превосходит Jev 1.13, Microsoft-Decision-1, GPT-Luna-Decisions и Clef-Flash в задачах принятия решений, связанных с безопасностью, и
- Granite-Speech-5.0-Turbo-CTC, самой быстрой модели ASR в таблице лидеров OpenASR, встроенной для использования в задачах транскрибирования.
Все три эти технологии (вместе с базовой моделью) объединены в одну модель, занимающую примерно столько же видеопамяти на GPU, сколько заняла бы сама базовая модель. Это означает больше возможностей при меньшем количестве GPU.
А поскольку адаптеры Switch были созданы как кэш-эффективные Activated LoRAs, KV-кэш, созданный при генерации базовой модели, можно повторно использовать для любых последующих решений на основе адаптеров. В сочетании с недавним вкладом нашей команды в vLLM для ускорения вывода адаптеров низкого ранга, а также совместно размещенным кодировщиком ASR, модели Granite Switch 4.1 могут переключаться между запросом в чате, запросом на принятие решения и голосовым запросом с невероятной скоростью.
Granite-switch-4.1-8b может транскрибировать аудио, создавать резюме, проверять контент на наличие вредоносных материалов и тестировать более 15 общих флагов — и все это работает в режиме реального времени через одну конечную точку.
Библиотеки Granite: оригинальные модели принятия решений
Модели принятия решений — не новинка. Наш предыдущий выпуск библиотек Granite содержит репозиторий специализированных адаптеров «моделей принятия решений» и других адаптеров для специализированных задач, которые можно объединять в пользовательские модели Granite Switch. И хотя Jev и другие закрытые модели принятия решений ориентированы на универсальность, мы обнаружили, что многие из наших специализированных адаптеров granitelib могут превосходить универсальные модели в специализированных задачах классификации.
Сравните адаптеры granitelib с универсальными моделями принятия решений при оценке в специализированных задачах классификации.
Поскольку адаптеры используют общий KV-кэш базовой модели, добавление специализированных адаптеров наряду с универсальным адаптером принятия решений практически ничего не стоит. Вы получаете широкие возможности от универсальной модели и более высокую точность от специализированных адаптеров в задачах, которые вас интересуют.
В «гонке» между Granite-Switch-4.1-30B (замороженная базовая модель Granite + 4 специализированных aLoRA) и Jev-27B (замороженная базовая модель Qwen + 1 универсальный адаптер принятия решений LoRA), Granite-Switch-4.1-30B смог выполнить реальный 5-шаговый рабочий процесс RAG намного быстрее, чем его конкурент.
Создавайте и расширяйте свою собственную модель Granite Switch
Модели Granite-Switch-4.1-8B и -30B выпускаются «готовыми к работе». Это модели Granite Switch, которые мы скомпилировали с предопределенным набором полезных адаптеров. Но вам не обязательно использовать нашу версию. Любой может создать свою собственную модель Granite Switch, смешивая и подбирая адаптеры из библиотек Granite, чтобы наилучшим образом удовлетворить свои потребности.
В будущем мы видим огромные возможности для сообщества по созданию и расширению моделей Granite Switch с помощью пользовательских и сторонних адаптеров. Мы планируем выпустить SDK адаптеров для обучения адаптеров в Mellea, наряду с другими руководствами и поддержкой Granite Switch. Эти адаптеры могут быть специализированными адаптерами классификации для дополнения рабочих процессов принятия решений или адаптерами для специализированных языковых задач. Вы даже можете использовать пользовательские адаптеры, чтобы научить 3-миллиардную версию Granite играть в классическую игру Doom.
Подобно Jev, наша пользовательская модель Granite Switch с 3 миллиардами параметров принимала мгновенные решения для навигации в игре Doom, но делала это со скоростью 60–100 решений в секунду по сравнению с 10 решениями в секунду у Jev. В отличие от Jev, эта модель Granite Switch также может комментировать и отвечать на ваши вопросы во время игры.
Мы с нетерпением ждем возможности опубликовать больше подробностей и данных о Granite Switch в ближайшие недели, а пока рекомендуем вам попробовать наши новейшие модели Switch и другие полезные ресурсы для начала работы.
Ресурсы для начала работы
- Карточки моделей Granite Switch 4.1
- Демонстрация преобразования речи в решения
- Репозиторий Granite Switch на GitHub
- Блог о первоначальном выпуске Granite Switch и библиотек Granite
- Создайте свою собственную гонку aLoRA против LoRA на Colab.
Сноски
.png)
