AI编译器全景
从PyTorch到GPU内核:AI编译器的多层抽象与优化。
点击按钮查看不同编译器栈
计算图表示
将神经网络表示为有向无环图(DAG),节点是算子,边是张量。
点击按钮查看计算图构建过程
算子融合
将多个小算子合并为大算子,减少内存读写和kernel launch开销。
点击按钮查看算子融合策略
内核自动调优
为每个算子搜索最优GPU内核参数(block大小、tile大小、展开因子)。
点击按钮查看内核调优方法
量化感知训练
在训练阶段模拟量化误差,让模型适应低精度推理。
点击按钮查看量化策略
内存优化
张量重用、原地操作、梯度检查点等内存优化策略。
点击按钮查看内存优化技术
跨平台部署
一次训练,到处部署:GPU/CPU/边缘/NPU的跨平台编译。
点击按钮查看不同平台后端
端到端编译流程
从PyTorch模型到优化后的可执行内核的完整流程。
点击按钮查看编译各阶段