ИИ обладает большими возможностями, чем когда-либо прежде, но чтобы сделать этот интеллект повсеместно доступным, системы должны быть простыми для понимания и использования каждым. Это зависит от того, насколько естественными и интуитивными будут эти взаимодействия. ElevenLabs создает именно такой уровень взаимодействия для ИИ.
Сегодня на саммите в Нью-Йорке компания ElevenLabs представила новые модели, агенты и варианты развертывания, которые помогут бизнесу взаимодействовать с людьми с помощью ИИ и находить новые способы генерации доходов.
«Через несколько лет разговорные агенты станут критически важной инфраструктурой для каждого предприятия, такой же незаменимой, как облачные технологии или платежные системы, — сказал Мати Станишевский (Mati Staniszewski), генеральный директор и соучредитель ElevenLabs. — Любому бизнесу придется заново изобретать то, как он взаимодействует со своими клиентами, сотрудниками и окружающим миром».
Вот что ElevenLabs анонсировала на саммите:
Достижения в области моделей, лежащих в основе каждого взаимодействия
Мы начали с голосовых технологий и создали ведущие в отрасли модели для естественного общения, а теперь наша работа распространяется на модели и инструменты, обеспечивающие все способы взаимодействия людей с технологиями.
Выступая на сцене, Станишевский представил несколько обновлений, которые сделают взаимодействие между системами ИИ, клиентами и сотрудниками более естественным и лучше адаптированным к ситуации. «Наша миссия в ElevenLabs — решить задачу взаимодействия человека и технологий, и впервые она стала решаемой», — заявил он.
Точная настройка открытых моделей и голосовых моделей ElevenLabs под вашу предметную область
В каждой отрасли есть свой язык и свои нормы. Способы обслуживания клиентов и лучший канал для такого общения различаются от одной сферы к другой. Именно поэтому ElevenLabs работала над созданием специализированных моделей для основных отраслей. Отраслевые модели преобразования речи в текст (Speech to Text) изучают термины, которые действительно используются бизнесом в конкретной сфере, например, EBITDA в финансах или HIPAA в госсекторе. ElevenLabs использовала этот подход для создания Scribe v3 Medical — модели транскрипции для здравоохранения. Она способна распознавать тысячи сложных медицинских терминов с гораздо большей точностью и различает названия лекарств вроде циклосерина и циклоспорина, благодаря чему пациент получает лечение туберкулеза, а не иммунодепрессант.
Эта работа не замедлится, и Станишевский сообщил, что в разработке находится оптимизированная для финансового сектора модель. Но мы также считаем, что компании должны иметь возможность дорабатывать используемые модели не только под свою отрасль, но и под конкретный контекст и клиентов.
В ходе основного доклада Станишевский объявил, что в ближайшие месяцы мы поможем компаниям выполнить тонкую настройку (fine-tune) определенных языковых моделей с открытым исходным кодом, а также голосовых моделей ElevenLabs для их собственных нужд. «Мы не решим проблему взаимодействия человека и ИИ, если не отразим то, что делает людей и бизнес уникальными», — отметил он.
Команды смогут настраивать модели под специфические особенности, которые делают их компанию уникальной. Предприятия смогут использовать собственные данные из действующих развертываний и работать с исследователями ElevenLabs для доработки управляющих ими моделей. Каждая компания сможет выбрать важные для нее метрики, такие как показатель удовлетворенности клиентов (CSAT) или надежность, а исследователи ElevenLabs помогут использовать данные из ваших рабочих систем для тонкой настройки моделей. Вы сможете проводить непрерывную оптимизацию на основе каждого нового взаимодействия; Станишевский сравнил это с тем, что у каждой компании по сути появляется собственный стек обучения с подкреплением.
«Мы продолжим выпускать все больше моделей, оптимизированных под конкретные предметные области, чтобы ваш ИИ был точнее и полезнее, но мы также считаем, что бизнес должен иметь возможность идти дальше — с моделями, доработанными не только под свою индустрию, но и под свою компанию и клиентов», — сказал Станишевский. — Это один из лучших способов заставить ваши данные работать на вас и расширить ваше уникальное преимущество».
Движок Interaction Engine координирует весь разговор
Не каждая задача для агентных систем требует использования передовой модели на каждом шаге для достижения успеха. Определение того, какие модели использовать, как и когда для достижения конкретного результата само по себе является искусством, над решением которого работали исследователи ElevenLabs.
ElevenLabs продемонстрировала новую систему под названием Interaction Engine, которая отталкивается от ритма беседы. Она управляет сменой реплик и прерываниями, поэтому агент знает, когда нужно вступить в разговор, а когда замолчать. Она также может подобрать подходящую LLM для каждой части диалога. Более дешевая модель может заниматься первичной обработкой, удерживая расход токенов под контролем, а передовая модель подключается для решения более сложных задач по мере необходимости.
Крупные обновления ElevenAgents и многое другое
ElevenAgents — это платформа для настройки, развертывания и улучшения голосовых и чат-агентов в сферах продаж, поддержки, подбора персонала и операций. Она понимает, с кем говорит, и адаптируется к их потребностям.
Клиенты и партнеры, такие как Yahoo, Westgate и KPN, уже задействуют ElevenAgents в работе и видят, что агенты, лучше понимающие контекст и культуру, обеспечивают лучшие результаты для всех.
Станишевский поделился несколькими грядущими обновлениями ElevenAgents, которые сделают взаимодействие между агентами и клиентами более плавным и естественным.
Память помогает ElevenAgents запоминать постоянных клиентов
В ходе разговоров со службой поддержки люди часто делятся ценной информацией, которая не фиксируется и не берется в работу. «Одна из особенностей отличного разговора с человеком заключается в том, что он помнит то, что вы ему сказали, и действует соответственно. Агенты должны делать то же самое», — отметил Станишевский.
Функция Memory позволит агентам ElevenAgents со временем формировать досье на клиента, узнавая вернувшегося авторизованного пользователя и вспоминая то, о чем он говорил ранее. Хотя CRM остается основным хранилищем данных о клиентах, Memory фиксирует детали, которыми поделились в ходе беседы и для которых раньше не было отдельного поля: например, предпочтения, ограничения, предстоящие события. Если клиент предпочитает испанский язык и может говорить только после 17:00, агент запоминает это и учитывает.
После каждого взаимодействия агент преобразует разговор в структурированную запись и обновляет ее, когда клиент возвращается. Он также сохраняет детали, которые понадобятся позже. Абоненту сотовой связи, который упомянул, что переезжает в марте, не нужно упоминать об этом снова, когда он позвонит в апреле: агент автоматически знает, стоит ли предложить перенести обслуживание на новый адрес, и закрывает старый. В результате формируется понимание каждого клиента, которое углубляется с каждым разговором, поэтому любое взаимодействие кажется более личным, чем предыдущее.
Процедуры (Routines) берут на себя работу вокруг разговоров
Большая часть работы по последующему сопровождению звонка в службу поддержки происходит после его завершения. Этим часто занимаются люди и инструменты, которые не участвовали в самом разговоре. Процедуры (Routines), новый уровень автоматизации в ElevenAgents, позволят пользователям выполнять многоэтапные рабочие процессы до, во время и после каждого разговора. Система подключается к инструментам и платформам, в которых уже работает ваша команда.
Процедура может выполнить предварительную проверку заявителя на получение ипотеки и перезвонить в течение нескольких минут, напомнить пациентам о предстоящем визите и предложить отмененное время из листа ожидания. Их также можно настроить на отправку отчета по электронной почте, запись данных в CRM или инициирование звонка — и все это прямо внутри ElevenAgents.
Благодаря Routines, ElevenAgents берет на себя больше работы в рамках каждого диалога, поэтому ваша команда тратит меньше времени на подготовку и последующие действия, уделяя больше внимания клиентам.
ElevenAI помогает людям оставаться вовлеченными в важные разговоры
Во время предварительного показа на своем основном докладе Станишевский представил ElevenAI, новое приложение от ElevenLabs. Оно функционирует как ИИ-коллега для корпоративных команд: прослушивает устные разговоры, включая личные встречи, и превращает их в заметки и планы дальнейших действий. Если ElevenAgents — это уровень взаимодействия между компаниями и клиентами, то ElevenAI станет таким уровнем для сотрудников, выполняющих свою работу.
ElevenAI предлагает функции диктовки и ведения протоколов встреч на базе Scribe v3, новейшей и самой точной модели ElevenLabs для преобразования речи в текст. На встречах приложение делает заметки с согласия всех участников, а по окончании звонка предоставляет краткое содержание и список задач для каждого присутствующего. Оно также может оказывать помощь в режиме реального времени во время звонка, предоставляя контекст и улучшая взаимодействие между людьми и агентами. Механизмы уведомления и получения согласия встроены в систему, чтобы собеседники чувствовали себя комфортно.
По мере того как люди все больше полагаются на персональных агентов в повседневной жизни, им потребуется поддержка на работе, созданная специально для них как для сотрудников. ElevenAI адаптируется к инструментам и процессам компании и сопровождает людей в течение всего рабочего дня. Он также передает нужный контекст между агентами и людьми, чтобы они могли работать как одна команда. Бесплатный ранний доступ к ElevenAI открывается сегодня.
Расширение корпоративной экосистемы с помощью партнерской программы ElevenLabs и ElevenLabs Marketplace
Партнерская сеть ElevenLabs выросла до более чем 550 партнеров в 44 странах, включая Google Cloud, IBM, Deloitte, DXC и Genesys. Сегодня мы запускаем партнерскую программу ElevenLabs, чтобы упростить предприятиям развертывание ElevenAgents совместно с консалтинговыми компаниями, системными интеграторами, поставщиками программного обеспечения и агентствами, которые уже знают их бизнес. Партнеры занимаются интеграцией в ваш существующий технологический стек или работают вместе с инженерами ElevenLabs (FDE) над сложными развертываниями — всем, что помогает вам быстрее получить результат.
В рамках программы ElevenLabs также объявляет об альянсе с McKinsey, объединяя ElevenAgents с опытом фирмы в области корпоративной трансформации и QuantumBlack, AI by McKinsey. Теперь компании могут создавать решения на базе ElevenLabs, строить их вместе с партнером или покупать готовые решения у партнера для масштабирования агентов в сложных системах.
Кроме того, ElevenLabs и NVIDIA объявили о расширении своего партнерства. Nemotron 3.5 Super VL теперь доступен в ElevenAgents, а ElevenLabs также добавляет 15 МВт новых вычислительных мощностей Vera Rubin. Две компании также будут работать над голосовым агентом для локального использования в рамках национальной платформы электронного здравоохранения Польши. Агент будет заниматься записью на прием для пациентов, у которых есть только стационарные телефоны.
Сегодня мы также представляем ElevenLabs Marketplace — курируемую группу отраслевых ИИ- и голосовых приложений, созданных на базе ElevenLabs нашими технологическими партнерами для таких отраслей, как здравоохранение, финансовые услуги, страхование, образование и розничная торговля. Предприятия могут просматривать агентов и приложения и напрямую связываться с партнерами, стоящими за ними. Начиная со следующего года, компании смогут покупать этих агентов через Marketplace, используя свои существующие обязательства перед ElevenLabs.
Что произойдет, когда взаимодействие будет налажено
Станишевский завершил выступление вопросом о том, что произойдет, когда взаимодействие между людьми и ИИ будет полностью налажено. Его ответ — мир, в котором технологии адаптируются к людям, границы языка, географии и масштаба стираются, а локальные нюансы и культура сохраняются.
«Люди обоснованно опасаются, что ИИ может централизовать и унифицировать все. Что компании не смогут защитить свои конкурентные преимущества. Что каждая новая итерация ИИ будет стремиться к среднему значению», — сказал Станишевский. — «Мы строим противоположное. Модели, продукты и сообщество, чтобы усилить то, что делает ваш бизнес уникальным, и помочь вам расширить свое преимущество».
Сегодняшние анонсы — это шаги к такому будущему, и ElevenLabs строит его вместе с клиентами, партнерами и разработчиками, которые присоединились к нам в Нью-Йорке. Чтобы начать, воспользуйтесь ElevenAgents.
