SPEECH LLM · ASR / TTS / SPEECH-TO-SPEECH · 2022-2026

语音大模型实验室 · 从听到说 · 可视化实验室

Whisper 级 ASR → 神经 TTS → 端到端语音对话模型 · 延迟从「秒级管道」压到「300ms 心理线」· 语音正在成为 AI 的第一交互界面

Whisper / ASR 流式识别 CosyVoice TTS 零样本音色克隆 Moshi 端到端 GLM-4-Voice 全双工对话 300ms 心理线
WHY IT MATTERS
「文本模型解决『聪明』,语音模型解决『自然』—— 后者才是大众市场的入口」
语音 AI 经历了三级跳:2022 年 OpenAI Whisper 用 68 万小时弱监督数据把 ASR 做成「通用基建」;2023-2024 年神经 TTS 进入零样本克隆时代,CosyVoice/Fish Speech 等开源方案 3 秒素材即可复刻音色;2024-2025 年端到端语音模型(Moshi、GLM-4-Voice、Qwen-Omni)把听-想-说塞进一个网络,告别「ASR→LLM→TTS」三段式管道,延迟与表现力双双突破。当语音延迟压进 300-500ms「心理线」,打电话般的 AI 助手从演示品变成日用品——这是继聊天框之后最确定的下一个人机交互入口。
Whisper 训练量
68万小时
克隆素材
3 秒
全双工延迟
200-500ms
流式 ASR 延迟
<300ms
代表阵营
开源 5 家
模块标签
图例说明
关键信息