Fish Audio Drama 3: наша самая эмоциональная модель преобразования текста в речь

Drama 3 — это самая эмоциональная модель преобразования текста в речь от Fish Audio: она гораздо выразительнее, чем S2.1 Pro, и занимает первое место в тесте Pronunciation Robustness от Artificial Analysis.

13 октября 2026 г. | Drama 3 уже доступна в разделе Text to Speech на fish.audio, в приложении Fish Audio (iOS и Android) и через API. До 12 ноября: скидка 80% на API и 50% на новые тарифные планы для создателей контента.

Коротко о главном:

• Тот же подход, более сильное исполнение. Дайте Drama 3 те же указания, что и S2.1 Pro, и вы услышите искренние слезы, сдерживаемый гнев или смех, прорывающийся сквозь серьезное лицо.
• Она следует вашим указаниям. Шепот остается шепотом, смех звучит именно там, где вы его добавили, а интонация меняется по вашей команде даже в середине фразы.
• Каждое слово на своем месте. Drama 3 занимает первое место в независимом тесте Pronunciation Robustness от Artificial Analysis: 93,2% сложных слов, чисел и кодов прочитаны верно, по сравнению с 88,1% у S2.1 Pro.
• Открытые веса. Запускайте Drama 3 самостоятельно с Hugging Face. Модель бесплатна для коммерческого использования, если годовой доход вашей компании и аффилированных лиц составляет менее 500 000 долларов США (Fish Audio Community License v1.0).

Открыть Drama 3 в Text to Speech →

В нашем видеоролике Uncle Roger направляет ИИ-клона собственного голоса, созданного и используемого с его разрешения.

Теперь ваша очередь. Голос Uncle Roger доступен на Fish Audio, так что вы можете направлять его сами.

Управлять Uncle Roger в Drama 3 →

Тот же подход, гораздо больше чувств

Указания (direction) пишутся в квадратных скобках так, как если бы вы говорили это актеру. Вот одна и та же фраза с тем же голосом и теми же указаниями в исполнении S2.1 Pro, а затем — в Drama 3.

S2.1 Pro

Drama 3

[barely holding it together, forcing a smile] I'm fine. [shaky breath] Really. [small laugh] [whispering] Go on without me.

Обратите внимание на то, как сохраняется натянутая улыбка, пока голос дрожит, и как вдох, смех и шепот звучат именно там, где они прописаны.

Слезы, гнев, смех

Это те эмоции, которые речевые модели чаще всего сглаживают. В каждой фразе прислушайтесь ко второму указанию: именно в этот момент голос срывается, затихает или переходит в смех.

С трудом сдерживая слезы.

[choked up, crying quietly] I left his jacket by the door. [voice breaking] I keep thinking he'll walk in and ask for it.

Сдерживаемый гнев.

[through gritted teeth, keeping his voice down] I asked you to do one thing tonight. [slow, dangerously quiet] Just one.

Смеется вопреки себе.

[straight-faced, trying very hard to stay serious] No, I love it, it really suits you. [cracking up despite herself] I'm sorry, it's just a very brave haircut.

Модель следует вашим указаниям

Добавляйте новые указания там, где меняется настроение, и исполнение изменится в этой точке.

[breathless, speaking fast] Just turn off the lights. Stay away from the windows. [voice drops to a terrified whisper] And whatever you hear out there… [slow, deadly serious] <emphasis>do not open that door.</emphasis>

Последние слова заключены в парный тег <emphasis>…</emphasis>, который влияет только на слова внутри него. В интерфейсе Text to Speech просто выделите слова и выберите нужный тег из меню.

Drama 3 поддерживает 83 языка. Вы можете писать указания на любом удобном вам языке; он не обязательно должен совпадать с языком самой фразы.

Указания на китайском

[像是在强忍着眼泪，却努力笑着] I'm fine. Really. Go on without me.

Указания на испанском

[conteniendo las lágrimas, pero sonriendo] I'm fine. Really. Go on without me.

Указания на японском

[涙をこらえながら、無理に笑って] I'm fine. Really. Go on without me.

Каждое слово на своем месте

Эмоциональность ценна только тогда, когда слова остаются понятными. Artificial Analysis проверяет это независимо: их тест Pronunciation Robustness включает сложные английские предложения (числа, коды, названия брендов и слова, чье чтение зависит от контекста), а слушатели-люди проверяют каждое слово. Drama 3 правильно прочитала 93,2% из них — это лучший результат в рейтинге. У S2.1 Pro этот показатель составил 88,1%.

Наибольший прирост по сравнению с S2.1 Pro наблюдается в названиях брендов и мест, технических терминах и словах, зависящих от контекста. Точные последовательности, такие как пути к файлам и адреса электронной почты, также улучшились — с 79,4% до 86,3%.

Посмотреть рейтинг Pronunciation Robustness →

Как Drama 3 научилась слушать указания

Речевые модели, включая нашу S2, обычно обучаются с вознаграждением за легкость транскрибации и сходство с эталонным клипом, а такие вещи, как смех или шепот, снижают эти баллы. Drama 3 обучена с использованием одного типа вознаграждения: модели предпочтений людей. Эта модель также «слышит» текст и голос, поэтому точность и сходство по-прежнему важны; она просто не штрафует за смех, если вы о нем просили. Подробности можно найти в техническом отчете.

Для чего предназначена Drama 3

Drama 3 лучше всего проявляет себя при работе со сценарием, когда вы создаете реплики один раз и сохраняете результат.

• Аудиокниги и озвучка. Drama 3 может ровно прочитать целую главу, передать дрожь в голосе на той самой важной строчке и при этом не ошибиться в чтении «Главы XVII».
• Аудиодрамы и художественные подкасты. Одна реплика может переходить от паники к шепоту и угрозе, как в примере с дверью выше.
• Игры и анимация. Каждая строчка диалога получает свое направление: гнев сквозь зубы или смех, который невозможно сдержать.
• Короткие видео. Сюжетные ролики и комедийные скетчи получат слезы и шутки точно по сценарию — как на сайте, так и в приложении Fish Audio.

«Голосовой ИИ стал очень хорош в генерации речи. Следующий шаг — управление игрой. Drama 3 — наша самая эмоциональная и управляемая модель на данный момент. Она ставит создателя контента в кресло режиссера: опишите то, что вы хотите, простым языком, прослушайте и исправьте только те моменты, которые не работают. Это особенно важно в длинных проектах, таких как аудиокниги и многоязычный дубляж, где одно неверное слово не должно означать перезапись всей главы».

— Рисса Цао, сооснователь и генеральный директор Fish Audio

Запускайте Drama 3 сами

Как и S2, Drama 3 выпускается с открытыми весами. Модель распространяется по новой лицензии Fish Audio Community License v1.0: бесплатно для исследований и некоммерческого использования, а также бесплатно для коммерческого использования компаниями с годовым доходом менее 500 000 долларов США. Если доход выше или если вы хотите предлагать Drama 3 как сервис TTS, клонирования голоса или API, вам потребуется лицензия от Fish Audio ([email protected]). Лицензия также запрещает клонирование голоса реального человека без его согласия. S2 остается под лицензией Fish Audio Research License. Веса и полная лицензия доступны на Hugging Face, а код — на GitHub.

Большинство коммерческих моделей не раскрывают принципы своей работы. Вот как устроена Drama 3. Это одна большая модель, которая на каждом шаге использует лишь небольшую свою часть (mixture-of-experts), с памятью, адаптированной для длинных сценариев. Новый аудиодекодер (codebook-MTP) анализирует все сказанное ранее, включая ваш голосовой клип, прорабатывая тонкую текстуру каждого звука. И, как уже упоминалось, модель обучалась на основе предпочтений людей.

Для разработчиков и исследователей

Рисунок 2 из технического отчета. Основа (backbone) считывает системный промпт, целевой текст и собственные аудиокадры. Декодер codebook-MTP работает поверх скрытого состояния основы. Его четыре общих слоя принимают это состояние, предсказанный код 0 и коды 2–9 входного кадра, а слои MTP 1–9 предсказывают остальные коды по одному. Аудиотокенизатор превращает десять кодов в звуковую волну.

• Backbone. Смесь экспертов (MoE) с 35 млрд параметров, около 3 млрд активных на токен, инициализированная на базе языковой модели Qwen3.5-35B-A3B.
• Hybrid attention. 40 слоев, сгруппированных по три слоя Gated DeltaNet и одному слою gated full-attention. Слои DeltaNet хранят историю в состоянии фиксированного размера; только каждый четвертый слой использует KV-кеш.
• Декодер Codebook-MTP. Заменяет Fast AR из модели S2. Четыре общих слоя питают девять полноразмерных слоев (по одному на каждый акустический кодбук 1–9), обеспечивая причинно-следственное внимание по всей последовательности.
• Частичное слияние кодбуков. Только коды 0 и 1 подаются обратно в основу (в S2 подавались все десять) для ограничения ошибки смещения. Коды 2–9 идут напрямую в декодер.
• Токенизатор. Аналогичен S2, построен на Descript Audio Codec: 44,1 кГц, десять кодбуков, ~21,5 кадров в секунду.
• Обучение. Три стадии предварительного обучения, fine-tuning по инструкциям, затем обучение с подкреплением (RL).
• RL. Модель вознаграждения на основе человеческих предпочтений без правил. GRPO без штрафа KL, 1536 промптов × 8 вариантов на шаг.
• Инференс. На одном H200 движок декодирует поток со скоростью 271 кадр в секунду (против 177 у S2), несмотря на то что у Drama 3 в семь раз больше параметров. Инференс доступен через SGLang-Omni.

Полные подробности — в техническом отчете.

Drama 3 в API

Все примеры из этого поста работают в API. Установите заголовок model в значение drama-3 и поместите текст с тегами в text:

curl https://api.fish.audio/v1/tts \
  -H "Authorization: Bearer <your-api-key>" \
  -H "Content-Type: application/json" \
  -H "model: drama-3" \
  -d '{
    "text": "[breathless, speaking fast] Just turn off the lights. Stay away from the windows. [voice drops to a terrified whisper] And whatever you hear out there… [slow, deadly serious] <emphasis>do not open that door.</emphasis>",
    "reference_id": "536d3a5e000945adb7038665781a4aca",
    "format": "mp3"
  }' \
  -o door.mp3

Используется та же конечная точка, что и для S2.1 Pro, поэтому переход требует лишь смены одного заголовка. Теги и параметры описаны в документации Drama 3.

Получить API-ключ →

Что дальше

Два инструмента редактирования проходят закрытое тестирование, а API для редактирования появится в ближайшее время. Вот первые примеры.

Интерактивное редактирование

Прослушайте вариант, скажите Drama 3, что нужно изменить, и она проиграет реплику снова, учитывая предыдущие попытки. Указание может быть относительным («мягче, чем в прошлый раз») или совершенно новым.

Фраза: The results just came in. We didn't make it.

Вариант 1: тяжелая, подавленная грусть

Вариант 2: «мягче и теплее по сравнению с предыдущим»

Вариант 3: «более весело, чем раньше; убери обиду»

Аудио-инпейнтинг (Inpainting)

Допустим, вам нравится дубль, но в сценарии изменилось слово. Выделите слово, впишите новое, и Drama 3 перегенерирует только его, подстроившись под голос, настроение и темп окружающего текста. Все остальное останется прежним. Вот пример с «плачущей» фразой после замены одного слова:

Я оставила его куртку шарф у двери. Мне всё кажется, что он войдет и попросит его.

Оригинальный вариант

После редактирования (новое только слово «scarf»)

Предложение в честь запуска

Для разработчиков: с 13 октября по 12 ноября API Drama 3 стоит 10 долларов за миллион символов (скидка 80% от обычной цены в 50 долларов).

Для создателей: использование Drama 3 стоит столько же кредитов, сколько и S2.1 Pro. До 12 ноября на новые планы Plus, Pro или Max действует скидка 50%: на первый месяц (при ежемесячной оплате) или на первый год (при годовой).

Результаты могут варьироваться, поэтому создайте несколько вариантов и выберите лучший. Если модель не поняла ваше указание, присылайте сценарий в Discord — это самая важная для нас обратная связь.

Приносите свой сценарий. Приносите свои идеи.

Создайте свою первую реплику в Drama 3 →