VIZ LAB / 192

AI 音乐与音频生成可视化实验室

从符号生成到波形建模——把 2026 年 AI 如何创作音乐和生成音频的核心机制以可交互 SVG 呈现。

01

音乐生成架构

三种音乐生成范式对比:符号生成(MIDI/音符序列)、频谱生成(频谱图→音频)、端到端波形生成(直接生成波形)。切换范式观察流程差异与各自的优劣。

符号生成
MIDI / Token 序列
可控性强,音质依赖音源渲染
频谱生成
频谱图 → 声码器
平衡质量与可控性,主流方案
波形生成
直接生成 PCM
端到端,保真度高但计算开销大
混合架构
频谱+波形联合
MusicGen/Stable Audio 采用
训练数据
20万小时+ 音频-文本对
MUSDB+/MTG-Jamendo/FMA
推理延迟
符号0.3s / 频谱1.2s / 波形3.8s
30秒音频生成耗时
音频质量
FAD: 1.8-3.5
FAD越低质量越好
代表模型
MusicGen / Stable Audio
频谱+波形混合架构
02

符号音乐生成

基于 Transformer 的符号音乐生成:音符 Token 化 → 自回归生成 → 音乐结构(小节/乐句/段落)→ MIDI 输出。钢琴卷帘图展示逐步生成过程,每个音符按 Token 逐步出现。

Token 化
REMIDI / MMM 编码
音高+时值+力度+乐器
模型架构
Transformer Decoder
自回归逐 Token 生成
音乐结构
小节→乐句→段落
层次化结构控制
输出格式
MIDI / MusicXML
可由音源渲染为音频
上下文长度
4,096 Tokens (≈32小节)
支持完整乐曲结构
代表模型
Music Transformer / Jukebox
Google/OpenAI 符号生成
03

音频扩散模型

音频 Diffusion 生成:噪声 → 条件(文本/旋律)→ 逐步去噪 → 频谱图 → 声码器 → 音频。观察频谱图从纯噪声逐步去噪至清晰结构的过程,每一步结构化信息逐渐显现。

前向过程
逐步加噪至纯噪声
T 步马尔可夫链
反向去噪
UNet 预测噪声
条件引导去噪方向
条件控制
文本 / 旋律 / 参考音频
Classifier-Free Guidance
声码器
HiFi-GAN / BigVGAN
频谱图转波形
去噪步数
50-1000 步 (可调)
越多质量越高但越慢
噪声调度
Linear / Cosine / Sigmoid
β_t 调度策略影响质量
04

声音克隆与转换

Voice Cloning 流程:目标声音编码(说话人嵌入)→ 声学模型适配 → 声码器合成。对比 Zero-Shot(3秒样本即时克隆)与 Few-Shot(30秒样本微调)两种克隆模式的差异与效果。

说话人嵌入
d-vector / x-vector
提取声音身份特征
声学模型
Tacotron / VITS / NaturalSpeech
文本/语音→声学特征
Zero-Shot
3秒样本 · 即时克隆
无需微调,泛化中等
Few-Shot
30秒样本 · LoRA微调
相似度更高,需训练
声码器
HiFi-GAN / WaveNet
声学特征→波形
伦理约束
水印 + 授权机制
防止声音深度伪造
05

音乐结构与理论

AI 对音乐结构的层次化理解:节拍 / 调性 / 和弦 / 旋律 / 和声 / 配器。切换不同结构层观察从节拍到段落的层次化音乐分析,理解 AI 如何解析音乐的多个维度。

节拍检测
BPM + 拍号识别
TempoNet / Beat Tracker
和弦识别
根音 + 和弦性质
CNN 频谱和弦分类
段落分割
前奏/主歌/副歌/桥段
Structural Segmentation
调性分析
大调/小调 + 调号
Krumhansl-Schmuckler
乐器识别
多乐器分类
OpenL3 / HEAR 嵌入
情感分析
效价-唤醒度模型
Russell 二维情感空间
06

多轨音乐生成

多乐器多轨分层生成:鼓组 → 贝斯 → 和声 → 旋律 → 人声,逐步叠加并混音。观察各轨道的生成时序与混合效果,理解分层生成如何保证音乐协调性。

分层生成
鼓→贝斯→和声→旋律→人声
逐层条件化保证协调
轨道对齐
节拍/调性同步
共享时间轴与和声框架
自动混音
音量平衡 + 空间定位
AI Mixing Engineer
输出
分轨 stems + 混音
可后期编辑各轨道
音源分离
Demucs / Spleeter
训练数据来源
和声约束
调性+和弦进行约束
保证多轨音乐协调性
07

音频生成评估

雷达图对比 MusicGen / AudioLDM2 / Stable Audio / Suno 在音质(FAD)、音乐性、多样性、可控性、实时性五维度的表现。切换模型高亮查看各模型的优劣分布。

FAD 指标
Fréchet Audio Distance
基于 VGGish 嵌入的距离
音乐性
主观听感评分
旋律/节奏/和声协调度
可控性
条件控制精度
文本/旋律/风格控制力
实时性
生成速度
每秒音频生成耗时
CLAP 分数
文本-音频对齐度
对比学习嵌入相似度
MOS 评分
Mean Opinion Score
人工听感质量 1-5 分
08

应用场景矩阵

AI 音乐/音频应用场景网格:自动配乐、声音设计、语音合成、音乐教育、游戏音频、播客制作。每个应用标注技术成熟度与落地状态,切换场景查看详情。

生产级
成熟度 > 85%
已大规模商用部署
可用
成熟度 70-85%
主要场景可用,边缘需人工
成长期
成熟度 55-70%
效果可接受,持续优化中
趋势
语音合成最成熟
音乐教育增长最快
市场规模
2026: $89B · CAGR 68%
语音合成占42%份额
监管挑战
版权/深度伪造/水印
AI音频需可溯源标识

技术参考与术语表

MIDI
Musical Instrument Digital Interface
音符事件协议,乐器通信标准
Mel 频谱图
Mel-scale Spectrogram
人耳感知加权的频域表示
声码器 Vocoder
频谱→波形转换器
HiFi-GAN/BigVGAN/WaveNet
CFG
Classifier-Free Guidance
条件生成引导技术
FAD
Fréchet Audio Distance
音频质量评估指标
REMIDI
Restart MIDI Tokenization
符号音乐 Token 编码方案
Stems
分轨音频文件
各乐器独立音轨
ECAPA-TDNN
说话人嵌入模型
高精度声音身份编码

本实验室涵盖 2026 年 AI 音乐与音频生成的主流技术路径。符号生成侧重可控性与可编辑性,频谱生成平衡质量与效率,波形生成追求端到端保真度。 扩散模型已成为音频生成的主流架构,配合 Classifier-Free Guidance 实现文本/旋律条件控制。声音克隆在 Zero-Shot 与 Few-Shot 间权衡速度与相似度。 多轨生成通过分层条件化保证音乐协调性,自动混音完成最终输出。评估维度涵盖客观指标(FAD/CLAP)与主观评分(MOS)。