KTransformers · 异构LLM推理优化 · 可视化实验室

kvcache-ai/ktransformers是清华开源的异构LLM推理/微调优化框架，1.83万Stars。灵活体验尖端推理优化，如单卡跑大模型。通过异构计算（CPU+GPU）打破显存瓶颈，让消费级硬件也能运行超大模型推理，适合AI部署优化和大模型本地化场景。