LiveKit

Голосовые агенты в реальном времени с Fish Audio на LiveKit

Синтез речи Fish Audio доступен как официальный плагин LiveKit Agents и через LiveKit Inference: ваши агенты говорят самыми выразительными голосами Fish Audio с задержкой живого разговора.

КатегорияИнфраструктура реального времени
ИнтеграцияПлагин LiveKit Agents (Python) и LiveKit Inference
СтримингЧанками и через WebSocket в реальном времени
Модель по умолчаниюFish Audio S2.1 Pro
ГолосаЛюбой голос или клон Fish Audio по reference_id
docs.livekit.io ↗

Почему LiveKit и Fish Audio

LiveKit отвечает за передачу в реальном времени, определение очерёдности реплик и оркестрацию агента. Fish Audio отвечает за то, как агент звучит. Вместе это один из самых быстрых путей от прототипа до голосового агента в продакшене.

Два способа запуска

Используйте LiveKit Inference, чтобы запускать Fish Audio на инфраструктуре LiveKit без отдельного API-ключа провайдера, или установите плагин и управляйте оплатой и лимитами Fish Audio сами.

Стриминг для живого диалога

Плагин поддерживает синтез чанками и стриминг через WebSocket в реальном времени, поэтому речь начинается с первыми токенами, а не после полного ответа.

Любой голос Fish Audio с настройкой под агента

Укажите в reference_id любой голос из библиотеки Fish Audio или свой клон и задайте скорость, громкость, temperature и top_p для каждого агента.

Как это работает

3 шага от голоса Fish Audio до готового продукта на LiveKit.

ШАГ 01

Установите плагин

Добавьте Fish Audio в LiveKit Agents одним extra.

pip install "livekit-agents[fishaudio]"
ШАГ 02

Задайте API-ключ

Экспортируйте FISH_API_KEY в окружении агента или полностью пропустите этот шаг с LiveKit Inference.

Получить API-ключ
.env
12345678
FISH_API_KEY=your_api_key

Получить API-ключ

Получить API-ключ
ШАГ 03

Добавьте TTS в агента

Импортируйте класс TTS, выберите голос и модель и передайте его в AgentSession. Стриминг в реальном времени включается одним флагом.

agent.py
1234567
from livekit.plugins.fishaudio import TTS
tts = TTS(
    reference_id="your_voice_model_id",
    model="s2.1-pro",
    sample_rate=24000,
    latency_mode="balanced",
)

Что команды создают с Fish Audio и LiveKit

Оператор поддержки в гарнитуре говорит перед ноутбуком

Агенты клиентской поддержки

Голосовые агенты, которые отвечают, сортируют и решают вопросы в реальном времени единым голосом бренда в каждом звонке.

Иллюстрированный фэнтезийный персонаж за столом

Компаньоны и персонажи

Выразительные голоса с управляемыми эмоциями для игр, компаньонов и интерактивных персонажей.

Мужчина в гарнитуре работает за ноутбуком
Женщина в гарнитуре разговаривает по телефону
Женщина в очках и гарнитуре за столом

Многоязычные ассистенты

Один агент — много рынков. Голоса Fish Audio охватывают основные языки мира в одном конвейере LiveKit.

Начните разработку с Fish Audio и LiveKit

Прочитайте руководство по интеграции с LiveKit или обсудите с нашей командой партнёрств совместный маркетинг и общих клиентов.