本地 AI 与自托管可视化实验室
从模型下载到私有部署——把 2026 年如何在本地设备上运行完整 AI 系统的核心机制以可交互 SVG 呈现。
01
本地 AI 技术生态
完整本地 AI 栈：模型格式(GGUF/ONNX) → 推理引擎(Ollama/llama.cpp/MLC) → 前端界面(Open WebUI/LM Studio) → 工具链。点击按钮高亮不同层。
模型格式
GGUF / ONNX / Safetensors
跨引擎通用格式
推理引擎
Ollama / llama.cpp / MLC
CPU/GPU/移动端
前端界面
Open WebUI / LM Studio
图形化交互
工具链
模型转换 / 量化 / 蒸馏
部署前处理
02
模型量化与压缩
FP16 → INT8 → INT4 → 2bit 量化，观察精度损失、推理速度、内存占用的权衡。
03
推理引擎对比
Ollama(易用) / llama.cpp(C++高性能) / MLC(移动端) / vLLM(服务端) / ExecuTorch(边缘) 的多维度对比矩阵。
04
硬件加速方案
CPU(AVX2/AVX512) → GPU(CUDA/Metal) → NPU → Apple Silicon 统一内存。不同硬件的加速架构对比。
CPU
AVX2 / AVX512 指令集
通用兜底方案
GPU
CUDA (NVIDIA) / Metal (Apple)
高吞吐并行
NPU
神经网络专用加速
低功耗推理
统一内存
Apple Silicon UMA
CPU/GPU 共享
05
私有化部署架构
企业私有部署：模型服务 → API 网关 → 向量数据库 → RAG 管线 → 安全隔离。点击按钮观察请求流转。
06
模型管理与热切换
本地模型库：模型下载 → 版本管理 → 热切换 → A/B 对比。点击按钮切换当前活跃模型。
07
隐私与安全
本地 AI 的隐私优势：数据不出域 → 无 API 费用 → 离线可用 → 审计可控。对比本地与云端的安全层级。
08
边缘部署场景
本地 AI 应用网格：个人助手 / 代码补全 / 文档分析 / 离线翻译 / IoT 网关 / 医疗隐私，每个标注推荐模型与硬件要求。