Ollama теперь может преобразовывать текст в речь. Первой речевой моделью стала Phonon — семейство компактных и современных моделей преобразования текста в речь от Gradium. Речевые модели теперь доступны для macOS, а поддержка Windows и Linux появится в ближайшее время.

Неотредактированный вывод из Ollama 0.40.11 на MacBook Pro с M5 Max.

Производительность на Apple Silicon

На Apple Silicon работа Ollama ускоряется с помощью MLX — фреймворка машинного обучения от Apple, обеспечивающего передовую пропускную способность. На MacBook Pro с M5 Max Ollama оказалась на 35% быстрее ближайшего конкурента — собственной среды выполнения Gradium.

Пропускная способность

Количество раз быстрее реального времени

Измерено на MacBook Pro с M5 Max при генерации 45 секунд речи. Медиана по 10 запускам. Собственная среда выполнения Gradium (ptts) использует 8-битные веса на CPU, fp16 на Neural Engine и f32 на GPU; Ollama запускает модель в формате bf16.

Реализация в Ollama демонстрирует такую же точность, не уступая по частоте ошибок в словах эталонной реализации в Hugging Face Transformers:

Точность

Частота ошибок в словах

Меньше — лучше. 200 предложений из тестового набора Seed-TTS (английский язык), расшифрованных с помощью Whisper large-v3.

Голоса

Выберите голос с помощью параметра --voice или поля voice в API:

Голоса взяты из каталога голосов Gradium. Команда ollama show phonon выводит их полный список.

Языки

Модель phonon выпущена под лицензией Apache 2.0. Модели размером 40M выпущены под лицензией CC BY-NC 4.0, которая ограничивает их использование некоммерческими целями.

Перенаправьте ответ языковой модели в Phonon через пайп. Текст озвучивается по мере поступления, поэтому воспроизведение начинается уже после первого предложения:

Запустите ollama run phonon без текста, чтобы вводить строки в командной строке, или перенаправьте вывод для сохранения WAV-файла:

API

Phonon работает с совместимым с OpenAI эндпоинтом /v1/audio/speech, поэтому существующему коду, использующему SDK OpenAI, требуется лишь указать новый базовый URL.

Ответ передается в режиме стриминга по мере генерации аудио, поэтому воспроизведение может начаться немедленно:

Аудио представляет собой 24 кГц моно, возвращается в формате WAV по умолчанию или в виде сырых 16-битных семплов при указании "response_format": "pcm".