Fish Audio Drama 3: El modelo de texto a voz más emotivo que hemos creado

Drama 3 es el modelo de texto a voz más emotivo de Fish Audio: con mucha más sensibilidad que S2.1 Pro y el número 1 en el benchmark de robustez de pronunciación de Artificial Analysis.

13 de octubre de 2026 | Drama 3 está disponible hoy en Texto a voz en fish.audio, la aplicación Fish Audio (iOS y Android) y la API. Hasta el 12 de noviembre: 80% de descuento en la API y 50% de descuento en nuevos planes de creador.

En resumen:

• Misma dirección, una interpretación más fuerte. Dale a Drama 3 la dirección que le darías a S2.1 Pro y obtendrás lágrimas que suenan reales, una ira contenida y una risa que rompe una expresión seria.
• Sigue tus instrucciones. Un susurro sigue siendo un susurro, una risa aparece justo donde la pones y la entonación cambia cuando tú lo indicas, incluso a mitad de una frase.
• Cada palabra cuenta. Drama 3 es el número 1 en el benchmark independiente de robustez de pronunciación de Artificial Analysis: el 93,2% de las palabras difíciles, números y códigos se leen correctamente, frente al 88,1% de S2.1 Pro.
• Pesos abiertos. Ejecuta Drama 3 tú mismo desde Hugging Face, gratuito para uso comercial si tú y tus afiliados tienen menos de 500.000 USD de ingresos anuales (Fish Audio Community License v1.0).

Abrir Drama 3 en Texto a voz →

En nuestro vídeo de lanzamiento, Uncle Roger dirige un clon de IA de su propia voz, creado y utilizado con su permiso.

Ahora es tu turno. La voz de Uncle Roger está en Fish Audio, así que puedes dirigirlo tú mismo.

Dirige a Uncle Roger en Drama 3 →

Misma dirección, mucha más emoción

La dirección se escribe entre corchetes, de la misma forma que se la dirías a un actor. Aquí tienes una frase, con la misma voz y la misma dirección, en S2.1 Pro y luego en Drama 3.

S2.1 Pro

Drama 3

[barely holding it together, forcing a smile] I'm fine. [shaky breath] Really. [small laugh] [whispering] Go on without me.

Escucha cómo se mantiene la sonrisa forzada mientras la voz se quiebra, y cómo la respiración, la risa y el susurro aparecen exactamente donde están escritos.

Lágrimas, ira, risas

Estas son las emociones que los modelos de voz suelen aplanar. En cada frase, escucha la segunda instrucción: es donde la voz se quiebra, se apaga o da paso a una risa.

Voz entrecortada.

[choked up, crying quietly] I left his jacket by the door. [voice breaking] I keep thinking he'll walk in and ask for it.

Conteniendo la ira.

[through gritted teeth, keeping his voice down] I asked you to do one thing tonight. [slow, dangerously quiet] Just one.

Riendo a pesar de sí misma.

[straight-faced, trying very hard to stay serious] No, I love it, it really suits you. [cracking up despite herself] I'm sorry, it's just a very brave haircut.

Sigue tus instrucciones

Añade una nueva dirección donde cambie el estado de ánimo y la interpretación cambiará en ese punto.

[breathless, speaking fast] Just turn off the lights. Stay away from the windows. [voice drops to a terrified whisper] And whatever you hear out there… [slow, deadly serious] <emphasis>do not open that door.</emphasis>

Las últimas palabras están dentro de una etiqueta emparejada, <emphasis>…</emphasis>, que dirige solo las palabras entre las etiquetas de apertura y cierre. En Texto a voz, selecciona las palabras y elige una etiqueta en el menú de etiquetas.

Drama 3 habla 83 idiomas. Escribe la dirección en el idioma que prefieras; no tiene por qué coincidir con el idioma de la frase.

Dirección en chino

[像是在强忍着眼泪，却努力笑着] I'm fine. Really. Go on without me.

Dirección en español

[conteniendo las lágrimas, pero sonriendo] I'm fine. Really. Go on without me.

Dirección en japonés

[涙をこらえながら、無理に笑って] I'm fine. Really. Go on without me.

Cada palabra cuenta

Una mayor emotividad solo sirve si las palabras sobreviven a ella. Artificial Analysis comprueba esto de forma independiente: su benchmark de robustez de pronunciación incluye palabras difíciles en frases en inglés (números, códigos, nombres de marcas y palabras cuya lectura depende del contexto), y oyentes humanos comprueban cada palabra difícil. Drama 3 leyó correctamente el 93,2% de ellas, la puntuación más alta de la clasificación, frente al 88,1% de S2.1 Pro.

Las mayores mejoras con respecto a S2.1 Pro se dan en nombres de marcas, lugares y términos técnicos, y en palabras cuya lectura depende del contexto; las secuencias exactas, como rutas de archivos y direcciones de correo electrónico, también mejoran del 79,4% al 86,3%.

Ver la clasificación de robustez de pronunciación →

Cómo Drama 3 aprendió a seguir instrucciones

Los modelos de voz, incluido nuestro propio S2, suelen ajustarse con recompensas por ser fáciles de transcribir y por sonar como el clip de referencia, y esas puntuaciones penalizan una risa o un susurro. En cambio, Drama 3 se ajusta con una sola recompensa: un modelo de qué toma prefirieron las personas. Ese modelo también escucha el guion y la voz, por lo que la precisión y la semejanza siguen contando; simplemente no castiga una risa que tú mismo pediste. El informe técnico contiene los detalles.

Para qué sirve Drama 3

Drama 3 ofrece sus mejores resultados en frases guionizadas que generas una vez y conservas.

• Audiolibros y narración. Drama 3 puede leer un capítulo de forma uniforme, dejar que su voz se quiebre en la frase que debe doler y, aun así, pronunciar correctamente "Capítulo XVII".
• Ficción sonora y podcasts. Una sola frase puede pasar del pánico al susurro y a la amenaza, como ocurre en la frase de la puerta de arriba.
• Videojuegos y animación. Cada línea de diálogo recibe su propia dirección: ira entre dientes, una risa incontenible.
• Vídeos cortos. Los vídeos de historias y los sketches cómicos obtienen sus lágrimas y remates justo a tiempo, en la web o en la aplicación Fish Audio.

"La IA de voz se ha vuelto muy buena generando habla. El siguiente paso es dirigir una interpretación. Drama 3 es nuestro modelo más emotivo y controlable hasta la fecha. Pone a los creadores en la silla del director: describe lo que quieres en lenguaje sencillo, escucha y ajusta solo los momentos que no funcionan. Esto es fundamental en proyectos de larga duración, como audiolibros y doblaje multilingüe, donde una palabra incorrecta no debería significar la regeneración de todo un capítulo".

— Rissa Cao, cofundadora y CEO de Fish Audio

Ejecuta Drama 3 tú mismo

Al igual que S2, Drama 3 se publica como pesos abiertos, para que puedas ejecutarlo tú mismo. Se publica bajo una nueva licencia, la Fish Audio Community License v1.0: gratuita para investigación y uso no comercial, y gratuita para uso comercial si tú y tus afiliados tienen menos de 500.000 USD de ingresos anuales. Por encima de esa cifra, o para ofrecer Drama 3 a otros como un servicio de TTS, clonación de voz o inferencia o API, necesitas una licencia de Fish Audio ([email protected]). La licencia también prohíbe clonar la voz de una persona real sin su consentimiento. S2 permanece bajo la Fish Audio Research License. Los pesos y la licencia completa están en Hugging Face, y el código en GitHub.

La mayoría de los modelos de voz comerciales no dicen cómo se construyen. Así es como funciona Drama 3. Es un modelo grande que utiliza solo una pequeña parte de sí mismo en cada paso, con una memoria adecuada para guiones largos y varios clips de voz. Un nuevo decodificador de audio, el decodificador codebook-MTP, vuelve a escuchar todo lo anterior, incluido tu clip de voz, mientras rellena la textura fina de cada sonido. Y como se ha descrito anteriormente, se ajustó con un modelo de qué tomas prefirieron las personas.

Para desarrolladores e investigadores

Figura 2 del informe técnico. La estructura central lee el prompt del sistema, el texto de destino y luego sus propios frames de audio, cada uno introducido como un embedding fusionado de sus códigos 0 y 1. El decodificador codebook-MTP se ejecuta sobre cada posición por encima del estado oculto de la estructura central. Sus cuatro capas compartidas toman ese estado, el código 0 predicho y los códigos 2-9 del frame de entrada, que puentean la estructura central, y las capas MTP 1-9 predicen entonces los códigos restantes uno a uno. Los códigos se predicen dondequiera que el siguiente token sea un frame de audio, cada capa atiende causalmente a lo largo del tiempo, y el decodificador del tokenizador de audio convierte los diez códigos en una forma de onda.

• Backbone (estructura central). Mezcla de expertos de 35B de parámetros, aproximadamente 3B activos por token (8 de 256 expertos enrutados más uno compartido), inicializado a partir del modelo de lenguaje de Qwen3.5-35B-A3B.
• Atención híbrida. 40 capas en bloques de tres capas Gated DeltaNet y una capa de atención completa con puerta. Las capas DeltaNet mantienen el historial en un estado de tamaño constante; solo una de cada cuatro capas mantiene una caché KV.
• Decodificador codebook-MTP. Sustituye al Fast AR por frame de S2. Cuatro capas compartidas alimentan nueve capas de ancho completo, una por cada libro de códigos acústicos (1-9), y cada capa atiende causalmente a toda la secuencia, incluidos los códigos finos del audio de referencia.
• Fusión parcial de libros de códigos. Solo los libros de códigos 0 y 1 se devuelven a la estructura central (S2 devolvía los diez), para limitar el sesgo de exposición. Los códigos 2-9 van directamente al decodificador.
• Tokenizador. El de S2, sin cambios y basado en el Descript Audio Codec: 44,1 kHz, diez libros de códigos (uno semántico, nueve residuales), unos 21,5 frames por segundo, totalmente causal.
• Entrenamiento. Tres etapas de pre-entrenamiento, ajuste fino de instrucciones y luego RL. Cada tarea se escribe como una conversación en el mismo formato estilo ChatML.
• RL. Un modelo de recompensa de preferencia humana aprendido y sin recompensas basadas en reglas. GRPO sin penalización KL, 1.536 prompts × 8 tomas por paso.
• Inferencia. En una H200, el motor de inferencia decodifica un flujo único a 271 frames por segundo, frente a los 177 de S2, aunque Drama 3 tiene más de siete veces más parámetros. La inferencia está disponible a través de SGLang-Omni.

El informe técnico contiene todos los detalles.

Drama 3 en la API

Todos los scripts de este post funcionan en la API tal cual están escritos. Establece la cabecera model como drama-3 y pon el script, etiquetas incluidas, en text:

curl https://api.fish.audio/v1/tts \
  -H "Authorization: Bearer <your-api-key>" \
  -H "Content-Type: application/json" \
  -H "model: drama-3" \
  -d '{
    "text": "[breathless, speaking fast] Just turn off the lights. Stay away from the windows. [voice drops to a terrified whisper] And whatever you hear out there… [slow, deadly serious] <emphasis>do not open that door.</emphasis>",
    "reference_id": "536d3a5e000945adb7038665781a4aca",
    "format": "mp3"
  }' \
  -o door.mp3

Es el mismo punto final que S2.1 Pro, por lo que cambiar una integración existente requiere solo un cambio de cabecera. Las etiquetas y los parámetros están en la documentación de Drama 3.

Obtener una clave de API →

Próximamente

Dos herramientas de edición se encuentran en una fase de prueba reducida por invitación, y pronto llegará una API de edición. Aquí tienes un primer adelanto.

Edición interactiva

Escucha una toma, dile a Drama 3 qué quieres cambiar y volverá a reproducir la frase teniendo en cuenta las tomas anteriores. La dirección puede ser relativa ("más suave que esa") o completamente nueva.

La frase: The results just came in. We didn't make it.

Toma 1: tristeza pesada y desinflada

Toma 2: "más suave y cálida que la anterior"

Toma 3: "más divertida que antes; quita el dolor"

Inpainting de audio

Tienes una toma que te gusta y el guion cambia. Marca la palabra, escribe la nueva y Drama 3 regenerará solo esa palabra, adaptándola a la voz, el estado de ánimo y el ritmo de ambos lados. Todo lo demás es la toma que ya habías aprobado. Aquí está la frase de llanto de arriba tras la reescritura de una palabra:

Dejé su chaqueta bufanda junto a la puerta. Sigo pensando que entrará y la pedirá.

Toma original

Tras la edición (solo "bufanda" es nuevo)

Oferta de lanzamiento

Para desarrolladores: del 13 de octubre al 12 de noviembre, la API de Drama 3 cuesta 10 USD por millón de caracteres, un 80% de descuento sobre el precio de lista de 50 USD.

Para creadores: Drama 3 cuesta los mismos créditos que S2.1 Pro. Hasta el 12 de noviembre, un nuevo plan Plus, Pro o Max tiene un 50% de descuento: tu primer mes en un plan mensual, o tu primer año en uno anual. Comenta en nuestra publicación de lanzamiento dentro de las primeras 48 horas y te regalaremos un mes gratis de Fish Audio Plus.

Las tomas varían, así que genera unas cuantas y quédate con la que mejor funcione. Si una toma no sigue tu dirección, publica el guion en Discord; ese es el feedback que más nos interesa.

Trae un guion. Trae tu dirección.

Dirige tu primera frase en Drama 3 →