4つのモデル、1つのルート
テキスト読み上げ用の S2.1 Pro、S2 Pro、S1 に加え、単語レベルのタイムスタンプ付きの音声文字起こし用の Transcribe-1 が、すべて fish-audio/ モデル文字列として指定可能です。
Fish Audio の音声および文字起こしモデルが Vercel AI Gateway で利用可能になりました。AI SDK や Next.js を使用するチームは、LLM ですでに使用しているものと同じキー、請求、オブザーバビリティを利用して、表現力豊かな音声を追加できます。
AI Gateway は、開発者に使用するすべてのモデルの単一エンドポイントを提供します。Fish Audio をこれに対応させることで、他のプロバイダーを設定することなく、AI SDK アプリで音声をインポートするだけで利用できるようになります。
テキスト読み上げ用の S2.1 Pro、S2 Pro、S1 に加え、単語レベルのタイムスタンプ付きの音声文字起こし用の Transcribe-1 が、すべて fish-audio/ モデル文字列として指定可能です。
ai パッケージから Fish Audio モデル ID を使用して generateSpeech または transcribe を呼び出すだけです。プロバイダー SDK やカスタムクライアント、追加の依存関係は不要です。
Fish Audio の使用状況、費用、レイテンシは、AI Gateway ダッシュボード内の他のすべてのモデルと並んで表示されます。
Fish Audio の音声を Vercel 上のプロダクトとしてリリースするまでの 3 ステップ
Vercel ダッシュボードで AI Gateway API キーを作成するか、アプリを Vercel にデプロイしている場合は Vercel OIDC を利用します。
import {
experimental_generateSpeech as generateSpeech
} from 'ai';
const result = await generateSpeech({
model: 'fish-audio/s2.1-pro',
text: 'How are you doing today?',
});awaitwriteFile('speech.mp3',
result.audio.uint8Array);
本番環境の音声には fish-audio/s2.1-pro、インラインタグ制御には s2-pro、感情マーカーには s1、音声文字起こしには transcribe-1 を使用してください。
テキストを指定して generateSpeech を呼び出し、音声をストリーミングまたは保存します。費用の追跡は最初のリクエストから開始されます。

読み上げ、ナレーション付きの要約、音声返信などを、既存の AI SDK アプリに数時間で追加できます。

Transcribe-1 で入力し、LLM で処理、S2.1 Pro で出力。すべて 1 つのゲートウェイと 1 つの請求で完結します。

ゲートウェイクレジットで開始し、使用量が増えてもコードはそのまま。モデルごとのコストを一箇所で確認できます。
オープンソースの WebRTC スタックとエージェント構築フレームワーク。Fish Audio TTS は公式プラグインならびに LiveKit Inference 経由で提供されています。
AI 動画プラットフォーム。HeyGen の AI Studio に搭載された Fish 音声エンジンは Fish Audio 技術をベースとしており、英語のアクセントやロケール制御が可能です。HeyGen Video Creator と LiveAvatar の両方で利用できます。
電話やコールセンター向けの音声エージェントプラットフォーム。Fish Audio のお好きな音声をインポートして、Retell エージェントを動かせます。
AI Gateway で Fish Audio モデルを閲覧するか、Vercel との共同マーケティングについてパートナーシップチームにお問い合わせください。