LiveKit

在 LiveKit 上用 Fish Audio 打造实时语音智能体

Fish Audio 文本转语音以官方插件形式集成到 LiveKit Agents,并可通过 LiveKit Inference 使用,让你的智能体以对话级延迟说出 Fish Audio 最具表现力的声音。

类别实时基础设施
集成方式LiveKit Agents 插件(Python)与 LiveKit Inference
流式传输分块合成与实时 WebSocket
默认模型Fish Audio S2.1 Pro
声音通过 reference_id 使用任意 Fish Audio 声音或克隆声音
docs.livekit.io ↗

为什么选择 LiveKit 与 Fish Audio

LiveKit 负责实时传输、轮次检测和智能体编排,Fish Audio 负责智能体的声音。两者结合,是从原型到生产级语音智能体最快的路径之一。

两种运行方式

使用 LiveKit Inference 在 LiveKit 的基础设施上运行 Fish Audio,无需单独的服务商 API Key;或安装插件,自行管理 Fish Audio 的计费和速率限制。

为轮流对话而生的流式传输

插件支持分块合成和实时 WebSocket 流式传输,首批 token 一到就开始发声,无需等待完整回复。

每个 Fish Audio 声音,都可按智能体调节

将 reference_id 指向 Fish Audio 声音库中的任意声音或你的克隆声音,再为每个智能体单独设置语速、音量、temperature 和 top_p。

如何使用

3 步即可将 Fish Audio 声音接入 LiveKit 并上线产品。

步骤 01

安装插件

只需一个 extra,即可为 LiveKit Agents 添加 Fish Audio。

pip install "livekit-agents[fishaudio]"
步骤 02

设置 API Key

在智能体运行环境中导出 FISH_API_KEY;使用 LiveKit Inference 则可完全跳过这一步。

获取 API Key
.env
12345678
FISH_API_KEY=your_api_key

获取 API Key

获取 API Key
步骤 03

为智能体添加 TTS

导入 TTS 类,选择声音和模型,然后交给你的 AgentSession。开启实时流式只需一个参数。

agent.py
1234567
from livekit.plugins.fishaudio import TTS
tts = TTS(
    reference_id="your_voice_model_id",
    model="s2.1-pro",
    sample_rate=24000,
    latency_mode="balanced",
)

团队用 Fish Audio 和 LiveKit 构建了什么

戴着耳机对着笔记本电脑通话的客服人员

客服智能体

实时接听、分流并解决问题的语音智能体,每通电话都保持一致的品牌声音。

坐在桌旁的奇幻风格插画角色

陪伴与角色

为游戏、陪伴应用和互动角色提供富有表现力、情绪可控的声音。

戴着耳机用笔记本电脑工作的男士
戴着耳机通话的女士
戴眼镜和耳机坐在办公桌前的女士

多语言助手

一个智能体,服务多个市场。Fish Audio 的声音在同一条 LiveKit 管线中覆盖全球主要语言。

开始使用 Fish Audio 与 LiveKit 构建

阅读 LiveKit 集成指南,或与我们的合作团队聊聊联合营销与共同客户。