Fish Audio Drama 3: O Modelo de Texto-para-Fala Mais Emotivo Que Já Criamos

Drama 3 é o modelo de texto-para-fala mais emotivo da Fish Audio: com muito mais sentimento que o S2.1 Pro e o nº 1 no benchmark de Robustez de Pronúncia da Artificial Analysis.

13 de outubro de 2026 | Drama 3 está disponível hoje em Text to Speech no fish.audio, no app Fish Audio (iOS e Android) e na API. Até 12 de novembro: 80% de desconto na API e 50% de desconto em novos planos para criadores.

A versão curta:

• Mesma direção, uma performance mais forte. Dê ao Drama 3 a mesma direção que você daria ao S2.1 Pro e você terá lágrimas que soam reais, raiva contida e uma risada que rompe uma expressão séria.
• Ele segue a sua direção. Um sussurro continua sendo um sussurro, uma risada surge onde você a coloca e a interpretação muda onde você manda, mesmo no meio de uma frase.
• Cada palavra ainda conta. O Drama 3 é o nº 1 no benchmark independente de Robustez de Pronúncia da Artificial Analysis: 93,2% de palavras difíceis, números e códigos lidos corretamente, contra 88,1% do S2.1 Pro.
• Pesos abertos. Execute o Drama 3 você mesmo a partir do Hugging Face, gratuito para uso comercial se você e seus afiliados tiverem menos de US$ 500.000 em receita anual (Fish Audio Community License v1.0).

Abrir Drama 3 em Text to Speech →

No nosso vídeo de lançamento, Uncle Roger dirige um clone de IA de sua própria voz, criado e usado com sua permissão.

Agora é a sua vez. A voz do Uncle Roger está no Fish Audio, então você mesmo pode dirigi-lo.

Dirigir Uncle Roger no Drama 3 →

Mesma Direção, Muito Mais Sentimento

A direção é inserida entre colchetes, escrita da forma como você diria a um ator. Aqui está uma frase, com a mesma voz e a mesma direção, no S2.1 Pro e depois no Drama 3.

S2.1 Pro

Drama 3

[barely holding it together, forcing a smile] I'm fine. [shaky breath] Really. [small laugh] [whispering] Go on without me.

Note como o sorriso forçado se mantém enquanto a voz falha, e como a respiração, a risada e o sussurro surgem exatamente onde foram escritos.

Lágrimas, Raiva, Riso

Estes são os sentimentos que os modelos de fala costumam achatar. Em cada frase, preste atenção na segunda direção: é onde a voz quebra, silencia ou dá lugar a uma risada.

Voz embargada.

[choked up, crying quietly] I left his jacket by the door. [voice breaking] I keep thinking he'll walk in and ask for it.

Contendo a raiva.

[through gritted teeth, keeping his voice down] I asked you to do one thing tonight. [slow, dangerously quiet] Just one.

Rindo apesar de si mesma.

[straight-faced, trying very hard to stay serious] No, I love it, it really suits you. [cracking up despite herself] I'm sorry, it's just a very brave haircut.

Ele Segue a Sua Direção

Adicione novas direções onde o humor mudar, e a interpretação mudará naquele ponto.

[breathless, speaking fast] Just turn off the lights. Stay away from the windows. [voice drops to a terrified whisper] And whatever you hear out there… [slow, deadly serious] <emphasis>do not open that door.</emphasis>

As últimas palavras estão dentro de uma tag dupla, <emphasis>…</emphasis>, que direciona apenas as palavras entre a abertura e o fechamento. No Text to Speech, selecione as palavras e escolha uma tag no menu Tags.

O Drama 3 fala 83 idiomas. Escreva a direção em qualquer idioma em que você pense; ela não precisa ser igual ao idioma da frase.

Direção em chinês

[像是在强忍着眼泪，却努力笑着] I'm fine. Really. Go on without me.

Direção em espanhol

[conteniendo las lágrimas, pero sonriendo] I'm fine. Really. Go on without me.

Direção em japonês

[涙をこらえながら、無理に笑って] I'm fine. Really. Go on without me.

Cada Palavra Ainda Conta

Mais sentimento só ajuda se as palavras sobreviverem a ele. A Artificial Analysis testa isso de forma independente: seu benchmark de Robustez de Pronúncia coloca palavras difíceis em frases em inglês (números, códigos, nomes de marcas e palavras cuja pronúncia depende do contexto), e ouvintes humanos verificam cada uma. O Drama 3 leu 93,2% corretamente, a pontuação mais alta no ranking, contra 88,1% do S2.1 Pro.

Os maiores ganhos em relação ao S2.1 Pro estão em nomes de marcas, lugares e termos técnicos, e em palavras cuja pronúncia depende do contexto; sequências exatas como caminhos de arquivos e endereços de e-mail também melhoraram, de 79,4% para 86,3%.

Veja o ranking de Robustez de Pronúncia →

Como o Drama 3 Aprendeu a Seguir Direções

Modelos de fala, incluindo o nosso S2, são geralmente ajustados com recompensas por serem fáceis de transcrever e por soarem como o clipe de referência, e essas pontuações penalizam uma risada ou um sussurro. O Drama 3 é ajustado com apenas uma recompensa: um modelo de quais tomadas as pessoas preferiram. Esse modelo também ouve o roteiro e a voz, então precisão e semelhança ainda contam; ele apenas não pune uma risada que você pediu. O relatório técnico traz os detalhes.

Para que serve o Drama 3

O Drama 3 faz seu melhor trabalho em falas roteirizadas que você renderiza uma vez e guarda.

• Audiolivros e narração. O Drama 3 pode ler um capítulo de forma uniforme, deixar a voz falhar naquela frase que deve doer, e ainda acertar "Capítulo XVII".
• Drama em áudio e podcasts de ficção. Uma única frase pode ir do pânico ao sussurro e à ameaça, como na frase da porta acima.
• Jogos e animação. Cada linha de diálogo recebe sua própria direção: raiva através de dentes cerrados, uma risada que alguém não consegue segurar.
• Vídeos curtos. Vídeos de histórias e esquetes de comédia ganham suas lágrimas e piadas na hora certa, na web ou no app Fish Audio.

"A IA de voz tornou-se muito boa em gerar fala. O próximo passo é dirigir uma performance. O Drama 3 é o nosso modelo mais emotivo e controlável até agora. Ele coloca os criadores na cadeira do diretor: descreva o que você quer em linguagem simples, ouça e ajuste apenas os momentos que não estão funcionando. Isso é fundamental em projetos de longa duração, como audiolivros e dublagem multilíngue, onde uma palavra errada não deve significar a regeneração de um capítulo inteiro."

— Rissa Cao, cofundadora e CEO da Fish Audio

Execute o Drama 3 Você Mesmo

Assim como o S2, o Drama 3 é lançado com pesos abertos, para que você possa executá-lo. Ele vem sob uma nova licença, a Fish Audio Community License v1.0: gratuita para pesquisa e uso não comercial, e gratuita para uso comercial se você e seus afiliados tiverem menos de US$ 500.000 em receita anual. Acima disso, ou para oferecer o Drama 3 a terceiros como um serviço de TTS, clonagem de voz ou inferência ou API, você precisa de uma licença da Fish Audio ([email protected]). A licença também proíbe clonar a voz de uma pessoa real sem o seu consentimento. O S2 permanece sob a Fish Audio Research License. Os pesos e a licença completa estão no Hugging Face, e o código está no GitHub.

A maioria dos modelos de voz comerciais não diz como são construídos. Aqui está como o Drama 3 funciona. É um modelo grande que usa apenas uma pequena parte de si mesmo em cada etapa, com uma memória adequada para roteiros longos e vários clipes de voz. Um novo decodificador de áudio, o decodificador codebook-MTP, reouve tudo até o momento, incluindo o seu clipe de voz, enquanto preenche a textura fina de cada som. E, como descrito acima, foi ajustado com um modelo de quais interpretações as pessoas preferiram.

Para Desenvolvedores e Pesquisadores

Figura 2 do relatório técnico. O backbone lê o prompt do sistema, o texto alvo e, em seguida, seus próprios frames de áudio, cada um inserido como um embedding fundido de seus códigos 0 e 1. O decodificador codebook-MTP roda sobre cada posição no topo do estado oculto do backbone. Suas quatro camadas compartilhadas recebem esse estado, o código 0 previsto e os códigos 2–9 do frame de entrada, que ignoram o backbone, e as Camadas MTP 1–9 então preveem os códigos restantes um de cada vez. Os códigos são previstos onde quer que o próximo token seja um frame de áudio, cada camada atende causalmente ao longo do tempo, e o decodificador do tokenizador de áudio transforma os dez códigos em uma forma de onda.

• Backbone. Mistura de especialistas (MoE) de 35B de parâmetros, cerca de 3B ativos por token (8 de 256 especialistas roteados mais um compartilhado), inicializado a partir do modelo de linguagem Qwen3.5-35B-A3B.
• Atenção Híbrida. 40 camadas em blocos de três camadas Gated DeltaNet e uma camada de atenção total com portão. As camadas DeltaNet carregam o histórico em um estado de tamanho constante; apenas uma em cada quatro camadas mantém um cache KV.
• Decodificador Codebook-MTP. Substitui o Fast AR por frame do S2. Quatro camadas compartilhadas alimentam nove camadas de largura total, uma por codebook acústico (1–9), e cada camada atende causalmente sobre toda a sequência, incluindo os códigos finos do áudio de referência.
• Fusão parcial de codebook. Apenas os codebooks 0 e 1 são realimentados no backbone (o S2 realimentava todos os dez), para limitar o viés de exposição. Os códigos 2–9 vão direto para o decodificador.
• Tokenizador. O do S2, inalterado e construído sobre o Descript Audio Codec: 44,1 kHz, dez codebooks (um semântico, nove residuais), cerca de 21,5 frames por segundo, totalmente causal.
• Treinamento. Três estágios de pré-treinamento, ajuste fino de instrução e, em seguida, RL. Cada tarefa é escrita como uma conversa no mesmo formato estilo ChatML.
• RL. Um modelo de recompensa de preferência humana aprendido e nenhuma recompensa baseada em regras. GRPO sem penalidade KL, 1.536 prompts × 8 tomadas por etapa.
• Inferência. Em uma H200, o motor de inferência decodifica um único fluxo a 271 frames por segundo, contra 177 do S2, embora o Drama 3 tenha mais de sete vezes mais parâmetros. A inferência está disponível via SGLang-Omni.

O relatório técnico traz os detalhes completos.

Drama 3 na API

Todos os roteiros neste post funcionam na API como escritos. Defina o cabeçalho model como drama-3 e coloque o roteiro, incluindo as tags, em text:

curl https://api.fish.audio/v1/tts \
  -H "Authorization: Bearer <your-api-key>" \
  -H "Content-Type: application/json" \
  -H "model: drama-3" \
  -d '{
    "text": "[breathless, speaking fast] Just turn off the lights. Stay away from the windows. [voice drops to a terrified whisper] And whatever you hear out there… [slow, deadly serious] <emphasis>do not open that door.</emphasis>",
    "reference_id": "536d3a5e000945adb7038665781a4aca",
    "format": "mp3"
  }' \
  -o door.mp3

É o mesmo endpoint do S2.1 Pro, então mudar uma integração existente requer apenas uma alteração no cabeçalho. Tags e parâmetros estão na documentação do Drama 3.

Obter uma chave de API →

O que vem a seguir

Duas ferramentas de edição estão em testes limitados apenas para convidados, e uma API de edição chegará em breve. Aqui está uma prévia.

Edição Interativa

Ouça uma tomada, diga ao Drama 3 o que mudar e ele reproduz a frase novamente levando em conta as tomadas anteriores. A direção pode ser relativa ("mais suave que aquela") ou completamente nova.

A frase: The results just came in. We didn't make it.

Tomada 1: tristeza pesada e desanimada

Tomada 2: "mais suave e calorosa em relação à anterior"

Tomada 3: "mais divertida que antes; esqueça a mágoa"

Inpainting de Áudio

Você tem uma tomada que gosta e o roteiro muda. Marque a palavra, digite a nova e o Drama 3 regenera apenas essa palavra, ajustada à voz, humor e ritmo de ambos os lados. Todo o resto é a tomada que você já aprovou. Aqui está a frase do choro acima após a reescrita de uma palavra:

Deixei o(a) casaco cachecol dele perto da porta. Fico pensando que ele vai entrar e pedir.

Tomada original

Após a edição (apenas "cachecol" é novo)

Oferta de Lançamento

Para desenvolvedores: de 13 de outubro a 12 de novembro, a API do Drama 3 custa US$10 por milhão de caracteres, 80$ 50.

Para criadores: o Drama 3 custa os mesmos créditos que o S2.1 Pro. Até 12 de novembro, um novo plano Plus, Pro ou Max tem 50% de desconto: seu primeiro mês em um plano mensal ou seu primeiro ano em um plano anual. Comente em nosso post de lançamento nas primeiras 48 horas e daremos a você um mês grátis de Fish Audio Plus.

As tomadas variam, então renderize algumas e guarde a que ficar melhor. Se uma tomada ignorar sua direção, poste o roteiro no Discord; esse é o feedback que mais desejamos.

Traga um roteiro. Traga sua direção.

Dirija sua primeira frase no Drama 3 →