Colibri纯C推理引擎 · 可视化实验室

纯C推理引擎 · 1.47万Stars · 消费级机器跑744B MoE

JustVugg/colibri是纯C推理引擎，零依赖，可在消费级机器上用约25GB RAM运行744B参数的GLM-5.2混合专家模型。通过按需从磁盘流式加载专家模块实现。是本地LLM爱好者和前沿规模模型无云端运行追求者的重要工具。