Наша серия «Исполнительная функция» представляет взгляды лидеров, которые способствуют трансформации бизнеса с помощью ИИ.
JioStar управляет платформами развлекательного контента и прямых спортивных трансляций, которыми пользуются более 500 миллионов потребителей, а количество одновременных зрителей спортивных событий достигало 72,5 миллионов. При таких масштабах ИИ должен быть быстрым, надежным и готовым к промышленной эксплуатации.
Используя API OpenAI, компания JioStar встроила в JioHotstar помощника для поиска видео и статистики по крикету с поддержкой диалогового интерфейса. Зрители могут общаться естественным языком, чтобы находить фильмы и шоу, исторические моменты, ключевые эпизоды матчей в прямом эфире или статистику по крикету, получая результаты через визуальный диалоговый интерфейс.
На саммите руководителей OpenAI в Сингапуре Сидхарт Шарма, глава отдела по выходу на рынок OpenAI в АСЕАН, побеседовал с Виджаем Сешадри, главным архитектором JioStar, о создании этого решения на более чем 15 языках примерно за восемь недель, а также об уроках для руководителей, переводящих ИИ из стадии демо-версии в промышленную эксплуатацию.
Что убедило вас в том, что ИИ фундаментально изменит то, как люди находят контент?
Поиск контента почти не изменился за последние 25 лет. Рекомендательные системы были последним крупным сдвигом. Большая часть того, что последовало за ними, была лишь итерацией одной и той же идеи.
Но выбор того, что посмотреть, — это глубоко личный процесс. Человек может сказать: «Мне грустно. Покажи мне что-нибудь, что поднимет настроение». Даже в этой простой просьбе много нюансов. Какого рода грусть? Что обычно поднимает настроение этому человеку? Хочет ли он комедию, что-то уютное или что-то, что полностью отвлечет его?
Традиционная рекомендательная система может не справиться с пониманием такого момента. Диалог дает зрителю возможность объяснить ситуацию. Мы называем это голосо-визуальным интерфейсом.
Слушать
Как вы превратили эту идею в продукт к началу крупного турнира по крикету?
Мы начали прорабатывать концепцию в октябре и ноябре, а крупный турнир по крикету должен был начаться в феврале. У нас было около двух месяцев и две совершенно разные аудитории: любители развлекательного контента и фанаты крикета.
Зритель развлекательного контента может сказать: «Пятница вечер — удиви меня» или описать фильм, не зная его названия. Спортивным болельщикам могут потребоваться более конкретные данные, например, падение калиток, серия «шестерок» или матч, в котором игрок набрал определенное количество очков. Экспертам по крикету может понадобиться статистика по каждому мячу.
Это совершенно разные задачи поиска. Мы работали над тем, чтобы объединить развлекательный контент, спортивные моменты и подробную статистику по крикету в единый интерфейс на нескольких языках за очень короткий срок.
Какие компромиссы определили технический дизайн при масштабах JioStar?
С самого начала мы сформулировали проблему как трехсторонний компромисс между точностью, задержкой и стоимостью. Каждое инженерное решение должно было учитывать баланс всех трех факторов одновременно.
Голосовое управление сделало это особенно важным. Более 60% наших пользователей используют голос, а не текст: люди предпочитают проговаривать то, что хотят посмотреть. Ответ при этом должен оставаться релевантным, быстрым и экономически эффективным при больших масштабах.
Слушать
Как выглядит эффективная система оценки в промышленной эксплуатации?
Я рассматриваю это как две части: система оценки и уровень валидации. До запуска в производство система оценки должна стимулировать изменения. В процессе эксплуатации цикл обратной связи должен превращать поведение клиентов и ошибки в новые тестовые случаи.
Этот маховик может стать самоподдерживающимся, но его крайне сложно правильно настроить.
Эксперты в предметной области необходимы. Для оценки статистики по спортивным событиям мы работали с такими людьми, как редакторы спортивных журналов, которые понимали, о чем могут спросить серьезные фанаты. Нельзя начинать только с промпта; нужно наполнить систему глубоким человеческим опытом.
Как небольшой команде удалось создать и запустить этот продукт примерно за восемь недель?
Одно из того, что мы сделали правильно, — это команда. Мы начали с небольшой группы специалистов по данным и инженеров, сфокусированных на четкой постановке задачи. Инженеры OpenAI, работавшие на местах, помогали нам определить те немногие вещи, которые мы обязательно должны были сделать правильно.
Первым был охват. Голосовой или текстовый интерфейс позволяет пользователям спрашивать почти о чем угодно, поэтому мы начали с того, что решили, на что система не должна отвечать. Защитные механизмы были приоритетом.
Для оценки мы начали с исходного набора данных и использовали модели для его расширения с большим разнообразием. Мы создали то, что сейчас можно назвать паттерном «создатель-проверяющий»: одна модель помогала определить, как ответить на вопрос, а другая выступала в роли валидатора — LLM в качестве судьи — с конкурирующей целью.
Это породило другой вопрос: кто проверяет судью? Разработка валидатора сама по себе была задачей оценки. Codex помог команде ускорить работу, например, по генерации тестовых случаев и обновлению системы, но ускорение разработки не отменило необходимости в суждении и валидации.
Оглядываясь назад, что бы вы сделали иначе?
Я бы раньше инвестировал в мониторинг эффективности модели в процессе эксплуатации.
Традиционные показатели инфраструктуры, такие как задержка P99, остаются важными, но их недостаточно. Вам также необходимо отслеживать эффективность модели в реальных условиях.
Что следует помнить руководителям при переходе от экспериментов с ИИ к промышленным системам?
Во-первых, существует огромный разрыв между тем, что может технология, и реальностью внутри предприятия. Если ваша компания не успевает за каждым анонсом передовых моделей, вы не одиноки.
Во-вторых, продолжайте фокусироваться на результатах, а не на активности. Легко принять видимое движение за значимый прогресс, особенно когда компании делают упор на входные метрики. Например, количество строк кода не говорит о том, создали ли вы значимую ценность.
Слушать
Наконец, большинство предприятий недооценивают человеческие навыки и агентность, которые для этого требуются. Это не может быть просто общей программой обучения. Лидерам нужны люди, которые могут применять эти инструменты с умом. Дайте сильному инженеру такой инструмент, как Codex, и эффект может умножиться; но без способности валидировать промышленные системы риски также умножаются.
У вас в руках ракета. Особенно в промышленных системах вам нужны валидация и защитные механизмы, и вы должны передать ключи правильным людям.
