AI 音乐生成可视化实验室
从旋律生成到完整歌曲——把 AI 如何创作音乐的核心机制以可交互 SVG 呈现。
01
音乐生成全景
AI 音乐生成从 GAN、自回归、扩散到流匹配不断演进。切换视图观察技术脉络与代表模型时间线。
GAN 范式
生成器-判别器对抗
2014 起步，训练不稳定
自回归
逐 token 生成
MusicGen/Jukebox，质量高但慢
扩散模型
去噪迭代生成
Stable Audio，灵活可控
流匹配
连续标准化流
ACE-Step，单步极速生成
02
音乐架构对比
MusicGen（自回归）、YuE（扩散）、ACE-Step（流匹配）三种架构在参数量、生成时长、音质上各有取舍。切换模型聚焦对比。
MusicGen
3.3B · 自回归
Meta，EnCodec + Transformer
YuE
扩散 · 歌曲级
开源，支持歌词条件
ACE-Step
流匹配 · 单步
60× 实时加速
关键权衡
质量 vs 速度
自回归慢但细，流匹配快但需精调
03
歌词-音乐对齐
歌词 token 与音乐 token 通过交叉注意力对齐，实现词曲同步。播放进度可观察对齐过程。
交叉注意力
Q音乐 × K歌词
音乐 token 查询歌词语义
对齐目标
音节-音符时间对齐
保证演唱可懂度
同步策略
CTC + 强制对齐
弱监督与强监督结合
典型问题
拖拍/抢拍
长词跨拍、短词挤拍
04
全曲结构生成
完整歌曲由前奏、主歌、副歌、桥段、尾奏构成。结构化生成通过段落标签控制整体形态。切换段落聚焦生成状态。
前奏 Intro
8-16 小节
建立调性与动机
主歌 Verse
叙事铺垫
和声进行相对稳定
副歌 Chorus
高潮记忆点
能量峰值，旋律上扬
桥段 Bridge
对比转折
打破循环，引入新材料
尾奏 Outro
收束消解
渐弱或重复终止
05
音频编解码器
EnCodec、SoundStream、DAC 将原始波形压缩为离散 token 再还原，是音乐生成的“音频 tokenizer”。切换编解码器对比码率与质量。
EnCodec
1.5-24 kbps
Meta，RVQ 量化
SoundStream
3-18 kbps
Google，端到端音频编解码
DAC
2-16 kbps
Descript，改进残差量化
RVQ
残差向量量化
多码本叠加提升保真度
对抗损失
解码器判别器
提升波形真实感
06
音乐风格控制
流派、情绪、乐器、参考音频四种控制方式从不同维度引导生成。切换控制维度观察条件注入方式。
流派控制
文本标签条件
摇滚/爵士/电子等
情绪控制
情感向量
愉悦/悲伤/激昂
乐器控制
音色 embedding
指定钢琴/吉他/合成器
参考音频
旋律/音色迁移
保持风格一致性
07
音乐质量评估
FAD、FSD、人耳 MOS、音乐性指标共同衡量生成音乐质量。切换指标聚焦评估维度。
FAD
Fréchet 音频距离
基于 VGGish 特征分布
FSD
片段相似度
参考与生成对比
MOS
人耳评分 1-5
主观音质与自然度
音乐性
节奏/和声/调性
乐理一致性评估
08
开源生态
YuE、ACE-Step、LeVo2、MusicGen、Stable Audio 构成开源音乐生成生态。切换对比维度查看矩阵。
YuE
开源歌曲生成
支持词曲一体
ACE-Step
流匹配极速
单步推理，实时生成
LeVo2
高质量声乐
中文歌词优化
MusicGen
研究基线
文本到音乐通用
Stable Audio
扩散音频
音效与音乐通用