kvcache-ai/ktransformers — 1.9万Stars · CPU-GPU异构计算 · 支持DeepSeek-V4 · 消费级GPU跑H100级模型
kvcache-ai/ktransformers是面向大模型的高效推理与微调框架，通过CPU-GPU异构计算优化性能。支持MiniMax-M3、DeepSeek-V4等最新模型。通过CPU卸载专家模块让H100级模型运行在消费级GPU上，是大模型本地化部署的重要基础设施。