Duas formas de executar
Use o LiveKit Inference para rodar a Fish Audio na infraestrutura do LiveKit sem uma API key de provedor separada, ou instale o plugin para gerenciar seu próprio faturamento e limites da Fish Audio.
Agentes de voz em tempo real com Fish Audio no LiveKit
O text-to-speech da Fish Audio está disponível como plugin oficial do LiveKit Agents e pelo LiveKit Inference, para que seus agentes falem com as vozes mais expressivas da Fish Audio com latência de conversa.
CategoriaInfraestrutura em tempo real
IntegraçãoPlugin do LiveKit Agents (Python) e LiveKit Inference
StreamingEm blocos e WebSocket em tempo real
Modelo padrãoFish Audio S2.1 Pro
VozesQualquer voz ou clone da Fish Audio via reference_id
docs.livekit.io ↗Por que LiveKit e Fish Audio
O LiveKit cuida do transporte em tempo real, da detecção de turnos e da orquestração do agente. A Fish Audio cuida de como o agente soa. Juntos, formam um dos caminhos mais rápidos do protótipo a um agente de voz em produção.
Streaming feito para troca de turnos
O plugin oferece síntese em blocos e streaming por WebSocket em tempo real, então a fala começa assim que chegam os primeiros tokens, sem esperar a resposta completa.
Todas as vozes da Fish Audio, ajustáveis por agente
Aponte reference_id para qualquer voz da biblioteca da Fish Audio ou um clone seu e defina velocidade, volume, temperature e top_p por agente.
Como funciona
3 passos de uma voz da Fish Audio até um produto em produção no LiveKit.
PASSO 01
Instale o plugin
Adicione a Fish Audio ao LiveKit Agents com um único extra.
pip install "livekit-agents[fishaudio]"PASSO 02
Obter API keyConfigure sua API key
Exporte FISH_API_KEY no ambiente do agente, ou pule esta etapa por completo com o LiveKit Inference.
PASSO 03
Adicione TTS ao seu agente
Importe a classe TTS, escolha voz e modelo e passe para sua AgentSession. O streaming em tempo real está a um flag de distância.
agent.py
1234567
from livekit.plugins.fishaudio import TTS
tts = TTS(
reference_id="your_voice_model_id",
model="s2.1-pro",
sample_rate=24000,
latency_mode="balanced",
)O que as equipes criam com Fish Audio e LiveKit
Agentes de atendimento ao cliente
Agentes de voz que respondem, triam e resolvem em tempo real, com uma voz de marca consistente em cada ligação.
Companheiros e personagens
Vozes expressivas e com emoções controláveis para jogos, companheiros virtuais e personagens interativos.
Assistentes multilíngues
Um agente, muitos mercados. As vozes da Fish Audio cobrem os principais idiomas do mundo em um único pipeline do LiveKit.
Mais parceiros
Plataforma de vídeo com IA. A Fish Audio alimenta o motor de voz Fish dentro do AI Studio da HeyGen, com controles de sotaque e região para inglês. Disponível tanto no HeyGen Video Creator quanto no LiveAvatar.
Vídeo e avatares
Plataforma de agentes de voz para telefonia e call centers. Importe qualquer voz da Fish Audio para dar voz ao seu agente Retell.
Plataformas de agentes de voz
Camada de execução global para IA de voz em tempo real. Roda o Fish Audio S2.1 Pro em GPU locais na Europa e na Austrália.
Inferência regional
Comece a criar com Fish Audio e LiveKit
Leia o guia de integração do LiveKit ou fale com nossa equipe de parcerias sobre co-marketing e clientes em comum.