Неделя голосовых релизов продолжилась: сразу после Mistral компания ElevenLabs, ставшая стандартом де-факто для синтеза речи, представила Realtime v1 — семейство моделей для голосовых агентов, и отдельно Realtime Translation: перевод речи в реальном времени, пока говорящий ещё говорит. Разбираем по документации, что именно появилось и как это вписать в продукт.
Что такое Realtime v1
Ключевая идея — модель как готовая конфигурация агента. Выбираете Mini или Max, а ElevenLabs под капотом подбирает связку распознавания, рассуждения и синтеза. Системный промпт, голос, инструменты и база знаний агента работают как раньше — меняется только движок разговора. Это снижает число ручных решений, которые раньше приходилось принимать при сборке голосового бота.
- Mini — рабочая лошадка: быстрые и недорогие разговоры, короткие сценарии.
- Max — для агентов со сложными инструкциями: сначала рассуждение, потом ответ.
- Переезд с OpenAI Realtime API без переписывания клиента: тот же протокол событий и тот же WebSocket.
- Постепенный раскат по воркспейсам — если функции ещё нет в кабинете, она появится в ближайшие недели.
Realtime Translation: как устроен перевод на лету
Второй анонс важнее первого для международных команд. Открываете WebSocket-соединение с целевым языком и голосом, стримите аудио — и получаете речь переводчика в выбранном голосе, пока собеседник ещё говорит. Язык оригинала определяется автоматически, вручную его можно задать, если знаете наверняка.
- Параметр eagerness балансирует скорость и качество: начинать переводить раньше или дождаться конца фразы.
- По ходу разговора сервер отдаёт живые транскрипты оригинала и перевода — готовые субтитры для интерфейса.
- Режим Zero Retention для чувствительных разговоров: данные не сохраняются.
- Доступ пока только для enterprise-воркспейсов.
Сценарии, которые открываются
- Многоязычная поддержка: один агент принимает звонки на разных языках и отвечает на языке клиента.
- Совещания с переводом: живой дубляж спикера в наушниках слушателей с расшифровкой на экране.
- Интервью и исследования: транскрипт оригинала и перевод по ходу записи, без отдельного этапа перевода.
- Голосовые агенты с действиями: запись, проверка статуса и оплата внутри разговора.
Что учесть до пилота
- Голосовые продукты тарифицируются по времени разговора: смету считайте на своих объёмах минут.
- Качество русского синтеза и распознавания проверяйте на своих записях — заявленные списки языков и реальная разборчивость на диалектах расходятся.
- Enterprise-функции требуют соответствующего тарифа и договорённостей.
Для команд без инженерного ресурса быстрый путь — готовые агенты на платформе: в SUIN.AI сценарии диалогов собираются в визуальном режиме, а многоязычные тексты и переводы закрываются чат-моделями уже сегодня. Начало работы с агентами — в ИИ-агентам.
Realtime рядом с Voxtral 3
| Параметр | ElevenLabs Realtime | Mistral Voxtral 3 |
|---|---|---|
| Подход | готовые конфигурации агентов | три модели плюс SDK на LiveKit |
| Переезд с OpenAI Realtime | встроенная совместимость | свой SDK |
| Перевод речи | есть, enterprise | не анонсирован |
| Развёртывание | облако ElevenLabs | своё железо или API в ЕС |
| Кому | продуктовые команды | инженерные команды |
Частые вопросы
Realtime Translation доступен сразу
Нет: перевод открыт для enterprise-воркспейсов, а раскат Realtime v1 идёт постепенно. Если функции нет в кабинете — она появится в ближайшие недели. Планировать пилот с её участием стоит уже сейчас, но сроки закладывайте с запасом.
Нужно ли переписывать интеграцию с OpenAI Realtime
Судя по документации, нет: события и WebSocket-транспорт совпадают, меняются endpoint и конфигурация сессии, а бэкенд получает короткоживущий секрет для браузерного подключения. Формально переезд маленький, но на практике всё равно закладывайте время на регрессионный прогон сценариев.
Что выбрать для русскоязычного колл-центра
Русский в официальных анонсах Realtime не заявлен отдельно — качество проверяйте на своих записях до выбора. Универсальный совет: соберите сорок пять реальных фраз клиентов, прогоните через кандидатов и считайте долю неправильно понятых слов и разборчивость синтеза. Выбор по демо-роликам провайдера почти всегда расходится с реальностью.
Дальше по теме: обзору Mistral Voxtral 3, ИИ-агентам и сравнению платформы и подписок.
👉 Зарегистрируйтесь в СуперИнтеллекте бесплатно — соберите многоязычного ИИ-агента уже сегодня, 100 нейронов в месяц на бесплатном тарифе.
