Четыре модели, один маршрут
S2.1 Pro, S2 Pro и S1 для преобразования текста в речь, а также Transcribe-1 для преобразования речи в текст с временными метками на уровне слов — все они доступны через строки моделей fish-audio/.
Модели синтеза и транскрибации речи Fish Audio теперь доступны на Vercel AI Gateway. Команды, использующие AI SDK и Next.js, могут добавить экспрессивный голос с тем же ключом, биллингом и инструментами мониторинга, которые они уже используют для своих LLM.
AI Gateway предоставляет разработчикам единую конечную точку для всех используемых ими моделей. Поддержка Fish Audio означает, что голос находится в одном импорте от любого приложения на AI SDK, без необходимости подключать отдельного провайдера.
S2.1 Pro, S2 Pro и S1 для преобразования текста в речь, а также Transcribe-1 для преобразования речи в текст с временными метками на уровне слов — все они доступны через строки моделей fish-audio/.
Вызывайте функции generateSpeech или transcribe из пакета ai с идентификатором модели Fish Audio. Никаких SDK провайдеров, кастомных клиентов или дополнительных зависимостей.
Данные об использовании, расходах и задержках для Fish Audio отображаются рядом со всеми остальными моделями на панели управления AI Gateway.
3 шага от голоса Fish Audio до готового продукта на Vercel.
Создайте API-ключ AI Gateway в панели управления Vercel или используйте Vercel OIDC, если ваше приложение развернуто на Vercel.
import {
experimental_generateSpeech as generateSpeech
} from 'ai';
const result = await generateSpeech({
model: 'fish-audio/s2.1-pro',
text: 'How are you doing today?',
});awaitwriteFile('speech.mp3',
result.audio.uint8Array);
Используйте fish-audio/s2.1-pro для высококачественной озвучки, s2-pro для управления встроенными тегами, s1 для передачи эмоций или transcribe-1 для преобразования речи в текст.
Вызовите generateSpeech с вашим текстом, затем транслируйте или сохраните аудио. Отслеживание расходов начинается с первого запроса.

Чтение вслух, озвучивание резюме и голосовые ответы могут быть добавлены в существующее приложение на AI SDK всего за один вечер.

Transcribe-1 на входе, LLM посередине, S2.1 Pro на выходе — всё через один шлюз и один счет.

Начните с кредитов шлюза, сохраняйте тот же код по мере роста нагрузки и следите за расходами по каждой модели в одном месте.
Open-source стек WebRTC и фреймворк Agents. Fish Audio TTS доступен как официальный плагин и через LiveKit Inference.
Платформа AI-видео. Fish Audio лежит в основе голосового движка Fish в AI Studio от HeyGen с настройкой акцента и региона для английского языка. Доступно как в HeyGen Video Creator, так и в LiveAvatar.
Платформа голосовых агентов для телефонии и колл-центров. Импортируйте любой голос Fish Audio для своего агента Retell.
Изучите модели Fish Audio на AI Gateway или свяжитесь с нашей командой по партнерству для обсуждения совместного маркетинга с Vercel.