Компания ElevenLabs представила две новые модели синтеза речи — ElevenLabs v4 и v4 Turbo, сообщает TechCrunch. Они обеспечивают более точное управление выразительностью, сниженную задержку для голосовых агентов и поддержку свыше 90 языков.
Модель v3 вышла годом ранее и была анонсирована на мероприятии в Варшаве. В поколении v4 компания перешла на новую архитектуру, которая даёт лучший контроль и ускоряет клонирование голоса. По заявлению разработчиков, для создания копии голоса теперь достаточно десяти секунд аудиозаписи.
В творческих задачах новая модель точнее сохраняет узнаваемость голоса на длинных фрагментах текста. При озвучивании она учитывает контекст и меняет интонацию. Механизм встроенных тегов для задания выразительности, появившийся в v3, в v4 расширен: пользователи могут комбинировать несколько тегов, и модель соблюдает их последовательность.
Если предыдущая версия поддерживала 70 языков, то новая довела этот показатель до 90. Наибольший прирост качества, по данным стартапа, отмечен для японского, бразильского варианта португальского, путунхуа и кантонского.
За последний год ElevenLabs быстро нарастила корпоративное направление голосовых вызовов: более 55% бизнеса компании приходится на крупные организации. Новая модель подходит для голосовых агентов благодаря низкой задержке, которая делает разговор более плавным. Кроме того, v4 начинает генерировать аудио сразу, как только стоящая за ней большая языковая модель приступает к формированию ответа. Модель также по-разному обрабатывает конфликтные ситуации, эскалацию и удержание вызова, что помогает лучше решать проблемы.
Конкуренция среди речевых моделей усилилась: собственные выразительные решения создали стартапы Cartesia, Deepgram, Fish Audio, Boson и WellSaid Labs, а крупные игроки вроде Google и OpenAI улучшили свои голосовые модели. В начале года ElevenLabs привлекла 500 млн долларов от Sequoia в раунде, возглавленном этой компанией, при оценке в 11 млрд долларов. Уже ходят слухи о новом раунде, который может поднять оценку до 22 млрд долларов. Годовой доход компании вырос примерно с 330 млн долларов в начале года до более чем 600 млн. Штат превысил 800 человек за счёт активного найма в Индии, Европе и Бразилии. Сооснователь и генеральный директор Мати Станишевски в недавнем интервью TechCrunch заявил, что компания нацелена на IPO (первичное публичное размещение акций) «в ближайшие годы», но конкретные сроки не назвал.