2 つの実行方法
LiveKit Inference を使えば、別途プロバイダーの API キーなしで LiveKit のインフラ上で Fish Audio を実行できます。プラグインをインストールすれば、Fish Audio の課金とレート制限を自分で管理できます。
LiveKit 上で Fish Audio を使ったリアルタイム音声エージェント
Fish Audio の音声合成は LiveKit Agents の公式プラグインとして、また LiveKit Inference 経由で提供されています。エージェントは会話レベルのレイテンシで、Fish Audio の最も表現力豊かな声で話せます。
カテゴリリアルタイムインフラ
連携方法LiveKit Agents プラグイン（Python）と LiveKit Inference
ストリーミングチャンク合成とリアルタイム WebSocket
デフォルトモデルFish Audio S2.1 Pro
音声reference_id で任意の Fish Audio 音声やクローンを指定
docs.livekit.io ↗LiveKit と Fish Audio を選ぶ理由
LiveKit はリアルタイム通信、ターン検出、エージェントのオーケストレーションを担い、Fish Audio はエージェントの声を担います。この組み合わせは、プロトタイプから本番の音声エージェントまでの最短ルートのひとつです。
ターンテイキングのためのストリーミング
プラグインはチャンク合成とリアルタイム WebSocket ストリーミングに対応。応答全体を待たずに、最初のトークンが届いた瞬間から話し始めます。
すべての Fish Audio 音声を、エージェントごとに調整
reference_id に Fish Audio ライブラリの音声や自作のクローンを指定し、速度、音量、temperature、top_p をエージェントごとに設定できます。
使い方
Fish Audio の音声を LiveKit 上のプロダクトとしてリリースするまでの 3 ステップ
STEP 01
プラグインをインストール
extra をひとつ追加するだけで、LiveKit Agents に Fish Audio を導入できます。
pip install "livekit-agents[fishaudio]"STEP 02
API キーを取得API キーを設定
エージェントの環境で FISH_API_KEY をエクスポートします。LiveKit Inference を使えばこの手順は不要です。
STEP 03
エージェントに TTS を追加
TTS クラスをインポートし、音声とモデルを選んで AgentSession に渡します。リアルタイムストリーミングはフラグひとつで有効になります。
agent.py
1234567
from livekit.plugins.fishaudio import TTS
tts = TTS(
reference_id="your_voice_model_id",
model="s2.1-pro",
sample_rate=24000,
latency_mode="balanced",
)Fish Audio と LiveKit で作られているもの
カスタマーサポートエージェント
リアルタイムで応答、振り分け、解決する音声エージェント。すべての通話で一貫したブランドボイスを保ちます。
コンパニオンとキャラクター
ゲーム、コンパニオン、インタラクティブキャラクターのための、表現力豊かで感情をコントロールできる音声。
多言語アシスタント
ひとつのエージェントで多くの市場へ。Fish Audio の音声は、ひとつの LiveKit パイプラインで世界の主要言語をカバーします。
その他のパートナー
AI 動画プラットフォーム。HeyGen の AI Studio に搭載された Fish 音声エンジンは Fish Audio 技術をベースとしており、英語のアクセントやロケール制御が可能です。HeyGen Video Creator と LiveAvatar の両方で利用できます。
動画・アバター
電話やコールセンター向けの音声エージェントプラットフォーム。Fish Audio のお好きな音声をインポートして、Retell エージェントを動かせます。
音声エージェントプラットフォーム
リアルタイム音声 AI のグローバル実行レイヤー。欧州とオーストラリアのリージョン内 GPU で Fish Audio S2.1 Pro を稼働。
リージョン別推論
Fish Audio と LiveKit で開発を始めよう
LiveKit 連携ガイドを読むか、共同マーケティングや共通顧客についてパートナー担当にご相談ください。