01
音乐生成架构
三种音乐生成范式对比:符号生成(MIDI/音符序列)、频谱生成(频谱图→音频)、端到端波形生成(直接生成波形)。切换范式观察流程差异与各自的优劣。
符号生成
MIDI / Token 序列
可控性强,音质依赖音源渲染
频谱生成
频谱图 → 声码器
平衡质量与可控性,主流方案
波形生成
直接生成 PCM
端到端,保真度高但计算开销大
混合架构
频谱+波形联合
MusicGen/Stable Audio 采用
训练数据
20万小时+ 音频-文本对
MUSDB+/MTG-Jamendo/FMA
推理延迟
符号0.3s / 频谱1.2s / 波形3.8s
30秒音频生成耗时
音频质量
FAD: 1.8-3.5
FAD越低质量越好
代表模型
MusicGen / Stable Audio
频谱+波形混合架构
02
符号音乐生成
基于 Transformer 的符号音乐生成:音符 Token 化 → 自回归生成 → 音乐结构(小节/乐句/段落)→ MIDI 输出。钢琴卷帘图展示逐步生成过程,每个音符按 Token 逐步出现。
Token 化
REMIDI / MMM 编码
音高+时值+力度+乐器
模型架构
Transformer Decoder
自回归逐 Token 生成
输出格式
MIDI / MusicXML
可由音源渲染为音频
上下文长度
4,096 Tokens (≈32小节)
支持完整乐曲结构
代表模型
Music Transformer / Jukebox
Google/OpenAI 符号生成
03
音频扩散模型
音频 Diffusion 生成:噪声 → 条件(文本/旋律)→ 逐步去噪 → 频谱图 → 声码器 → 音频。观察频谱图从纯噪声逐步去噪至清晰结构的过程,每一步结构化信息逐渐显现。
条件控制
文本 / 旋律 / 参考音频
Classifier-Free Guidance
声码器
HiFi-GAN / BigVGAN
频谱图转波形
去噪步数
50-1000 步 (可调)
越多质量越高但越慢
噪声调度
Linear / Cosine / Sigmoid
β_t 调度策略影响质量
04
声音克隆与转换
Voice Cloning 流程:目标声音编码(说话人嵌入)→ 声学模型适配 → 声码器合成。对比 Zero-Shot(3秒样本即时克隆)与 Few-Shot(30秒样本微调)两种克隆模式的差异与效果。
说话人嵌入
d-vector / x-vector
提取声音身份特征
声学模型
Tacotron / VITS / NaturalSpeech
文本/语音→声学特征
Zero-Shot
3秒样本 · 即时克隆
无需微调,泛化中等
Few-Shot
30秒样本 · LoRA微调
相似度更高,需训练
声码器
HiFi-GAN / WaveNet
声学特征→波形
05
音乐结构与理论
AI 对音乐结构的层次化理解:节拍 / 调性 / 和弦 / 旋律 / 和声 / 配器。切换不同结构层观察从节拍到段落的层次化音乐分析,理解 AI 如何解析音乐的多个维度。
节拍检测
BPM + 拍号识别
TempoNet / Beat Tracker
段落分割
前奏/主歌/副歌/桥段
Structural Segmentation
调性分析
大调/小调 + 调号
Krumhansl-Schmuckler
乐器识别
多乐器分类
OpenL3 / HEAR 嵌入
情感分析
效价-唤醒度模型
Russell 二维情感空间
06
多轨音乐生成
多乐器多轨分层生成:鼓组 → 贝斯 → 和声 → 旋律 → 人声,逐步叠加并混音。观察各轨道的生成时序与混合效果,理解分层生成如何保证音乐协调性。
分层生成
鼓→贝斯→和声→旋律→人声
逐层条件化保证协调
自动混音
音量平衡 + 空间定位
AI Mixing Engineer
音源分离
Demucs / Spleeter
训练数据来源
07
音频生成评估
雷达图对比 MusicGen / AudioLDM2 / Stable Audio / Suno 在音质(FAD)、音乐性、多样性、可控性、实时性五维度的表现。切换模型高亮查看各模型的优劣分布。
FAD 指标
Fréchet Audio Distance
基于 VGGish 嵌入的距离
MOS 评分
Mean Opinion Score
人工听感质量 1-5 分
08
应用场景矩阵
AI 音乐/音频应用场景网格:自动配乐、声音设计、语音合成、音乐教育、游戏音频、播客制作。每个应用标注技术成熟度与落地状态,切换场景查看详情。
市场规模
2026: $89B · CAGR 68%
语音合成占42%份额
技术参考与术语表
MIDI
Musical Instrument Digital Interface
音符事件协议,乐器通信标准
Mel 频谱图
Mel-scale Spectrogram
人耳感知加权的频域表示
声码器 Vocoder
频谱→波形转换器
HiFi-GAN/BigVGAN/WaveNet
CFG
Classifier-Free Guidance
条件生成引导技术
FAD
Fréchet Audio Distance
音频质量评估指标
REMIDI
Restart MIDI Tokenization
符号音乐 Token 编码方案
ECAPA-TDNN
说话人嵌入模型
高精度声音身份编码
本实验室涵盖 2026 年 AI 音乐与音频生成的主流技术路径。符号生成侧重可控性与可编辑性,频谱生成平衡质量与效率,波形生成追求端到端保真度。
扩散模型已成为音频生成的主流架构,配合 Classifier-Free Guidance 实现文本/旋律条件控制。声音克隆在 Zero-Shot 与 Few-Shot 间权衡速度与相似度。
多轨生成通过分层条件化保证音乐协调性,自动混音完成最终输出。评估维度涵盖客观指标(FAD/CLAP)与主观评分(MOS)。