🔥 热门JustVugg/colibri
colibri — 25GB内存跑744B MoE模型,纯C实现
25GB内存跑744B MoE模型,纯C实现
2026-07-12项目主页
本文为要点摘要,完整细节以项目主页为准。
- 纯C实现的推理引擎,零依赖,通过流式加载专家权重,在25GB内存的消费级机器上运行744B参数的GLM-5.2 MoE模型。
- 突破硬件限制,让超大模型在普通设备上运行,star增速快,技术亮点在于内存管理和流式加载。
- 对AI推理工具链有参考价值,尤其适合资源受限场景;C语言实现可嵌入边缘设备或agent系统。
项目:JustVugg/colibri · ⭐ 4253 · C