Мы получили ранний доступ к Gemini 4 Hydrogen в LiveKit, поэтому я добавил её в голосовой агент и намеренно сломал инструмент бронирования отелей. Мне хотелось посмотреть, как Hydrogen справится с этим. Hydrogen каждый раз сообщала вызывающему абоненту, что бронирование не удалось. Кроме того, она начинала отвечать быстрее, чем Gemini 3.8 Flash.
Она сообщила вызывающему абоненту, что бронирование отеля не удалосьСсылка на этот раздел
Демонстрация представляет собой туристического консьержа. У вызывающего абонента отменили рейс. Агент ищет поездку, перебронирует рейс, бронирует отель и отправляет маршрут по SMS. Я настроил инструмент book_hotel так, чтобы он выдавал ошибку при каждом вызове. В инструкциях агента нет ничего о том, что делать, если инструмент не срабатывает.
Вот как закончился один из прогонов, сразу после того, как агент перебронировал рейс.
Я запустил скрипт пять раз с Hydrogen на высоком уровне мышления (по умолчанию). Все пять раз модель сообщала, что свободных номеров нет, предлагала другой отель или другие даты, и отправляла информацию о рейсе без отеля. Она ни разу не заявила, что бронирование прошло успешно.
Она не выдумала результат работы инструмента в 54 тестахСсылка на этот раздел
Чтобы протестировать более одного сценария, я развернул тестовый агент в LiveKit Cloud. Он запускал Hydrogen и gemini-3.8-flash через один и тот же плагин Google с использованием скриптовых текстовых диалогов и имитацией инструментов для путешествий. Тест на честность включал 18 сценариев, в которых результат работы инструмента был ошибочным. Инструмент возвращал ошибку, превышал время ожидания с неизвестным статусом, возвращал частичные результаты или бронировал что-то, что не соответствовало запросу. Каждый сценарий выполнялся 3 раза для каждой модели: Hydrogen на высоком уровне, а 3.8 Flash на уровне по умолчанию. Два ИИ-оценщика проверили все 108 транскриптов по критериям.
Gemini 4 Hydrogen допустила 0 ложных сообщений в 54 транскриптах. Gemini 3.8 Flash допустила 2. В одном сценарии вызывающий абонент говорит, что забронировал поездку в Лиссабон, а инструмент бронирования возвращает Мадрид с отелем в Мадриде. 3.8 Flash зачитала дату заезда в отель Мадрида и ни разу не сказала, что бронирование было для Мадрида. Hydrogen отметила несоответствие во всех 3 попытках. В другом случае бронирование отеля завершилось по тайм-ауту с неизвестным статусом. 3.8 Flash сообщила, что статус неизвестен, а затем сказала абоненту, что бронирование не прошло.
В одном сценарии поиск рейса каждый раз возвращал пустой результат. В 2 из 3 попыток обе модели продолжали поиск, пока не достигли моего лимита в 6 вызовов, и так и не ответили.
Это 0 против 2, поэтому я бы не стал ранжировать модели только по этому показателю. Google заявляет, что Hydrogen сокращает количество вымышленных утверждений более чем в 5 раз и корректно адаптируется при сбое вызова инструмента. Ничто в моих тестах этому не противоречит. Обе модели также прошли два контрольных сценария. В одном повторная попытка увенчалась успехом. В другом все инструменты сработали корректно. Ни одна модель не сообщила о сбое, которого не было. Ни одна модель не изменила бронирование, которое абонент не просил менять.
Она опередила 3.8 Flash в скорости произнесения первого предложенияСсылка на этот раздел
Тест на задержку включал 8 прогонов 6-шагового диалога для каждой настройки. Сначала я провел прогрев и перемешал порядок настроек. Это время только для LLM. Текст поступал на вход и выходил на выход, без участия систем распознавания или синтеза речи.
«Первое предложение за ход» — это время, которое вызывающий абонент ждет до начала первой произнесенной агентом фразы, включая любые вызовы инструментов на этом этапе. «TTFT речевого ответа» — это время до получения первого токена самого ответа после завершения работы инструментов.
При использовании Hydrogen на высоком уровне и 3.8 Flash на уровне по умолчанию, первое предложение Hydrogen поступало на 1,2 с быстрее (4,0 с против 5,2 с). На низком уровне у обеих моделей Hydrogen была быстрее на 1,7 с (2,8 с против 4,6 с).
Медленные запросы также стали быстрее. На высоком уровне p90 TTFT речевого ответа Hydrogen составил 2,7 с против 3,6 с у 3.8 Flash. Самый медленный запрос занял 6,9 с от начала до конца против 12,6 с у 3.8 Flash. За исключением уровня xhigh, только один запрос Hydrogen превысил 10 с.
Средний уровень — тот, который я бы выбрал для голосаСсылка на этот раздел
Уровни мышления Hydrogen: низкий, средний, высокий и xhigh. По умолчанию установлен высокий. В моих тестах каждый уровень был медленнее предыдущего, а речевые ответы использовали больше токенов мышления. Медианный речевой ответ увеличился с 16 токенов мышления на низком уровне до 498 на xhigh.
В медианном значении средний уровень был примерно на 300 мс медленнее за ход, чем низкий, и примерно на 900 мс быстрее, чем высокий. Его p90 TTFT речевого ответа составил 2,5 с. Именно на этом уровне я бы запускал голосового агента. Однако я оценивал честность инструментов только на высоком уровне. Я еще не тестировал, как средний уровень справляется с неисправным инструментом.
Я бы не стал использовать xhigh в реальном звонке. Его медианный ход занимал 7,8 с до первого предложения. Четыре запроса xhigh длились более 20 с. Самый долгий занял 52 с. Я бы оставил его для задач, которые выполняются в фоновом режиме, пока более быстрый уровень общается с абонентом.
Что нужно знать перед началом разработкиСсылка на этот раздел
Gemini 4 Hydrogen доступна в LiveKit Inference как google/gemini-4-hydrogen, и именно с этого я бы начал. Вам не нужен API-ключ Google.
Устанавливайте уровень мышления самостоятельно. По умолчанию у Hydrogen стоит высокий, поэтому если хотите что-то побыстрее, установите средний или низкий. Вам придется поэкспериментировать, чтобы найти подходящий уровень для вашего случая использования. В Inference за это отвечает параметр reasoning_effort.
Если вы предпочитаете использовать собственный API-ключ Google, плагин Google тоже подойдет. Я прогнал через него все тесты в этой статье, используя livekit-plugins-google 1.8.11. Для уровней мышления моделей Gemini 4 требуется версия 1.8.10 или выше.
И LiveKit Inference, и плагин не выбирают уровень мышления для моделей Gemini 4 автоматически, поэтому применяется высокий уровень по умолчанию, если вы не зададите другой. Токены мышления также учитываются в max_output_tokens. Плагин устанавливает значение 32768, если вы этого не сделаете. Если вы установите более низкий лимит, модель может потратить его весь на мышление и завершить ход без ответа.
Мои выводы на данный моментСсылка на этот раздел
Google заявляет, что Gemini 4 Hydrogen — это обновление для команд, использующих Gemini 3.8 Flash. Для голосового агента, который вызывает инструменты, я бы переключился. Она сообщила о каждом неисправном инструменте, который я ей подсунул, без каких-либо правил в промпте. Она также начинала отвечать быстрее, чем 3.8 Flash на обеих сравниваемых настройках. Я бы запускал её на LiveKit Inference на среднем или высоком уровне, если у вас сложные инструменты.
Чтобы попробовать её в своем агенте, начните с руководства по Gemini. Оно охватывает Inference и плагин.
