🔥 热门FareedKhan-dev/kimi-k3-in-c
kimi-k3-in-c — 2.78万亿参数Kimi K3在单CPU上跑推理,仅需8.24GB内存
2.78万亿参数Kimi K3在单CPU上跑推理,仅需8.24GB内存
2026-08-30项目主页
本文为要点摘要,完整细节以项目主页为准。
- 这是一个纯C99实现,无需BLAS、框架或GPU,即可在单CPU上运行2.78万亿参数的Kimi K3模型,内存占用仅8.24GB。
- 项目通过极致的量化与内存优化,将超大模型压缩至可便携运行,展示了在资源受限环境下部署大模型的可行性,star数增长迅速。
- 对后端开发者而言,这是研究模型压缩、内存管理和高效推理的绝佳案例,尤其适合边缘设备或低资源环境下的AI应用开发。
项目:FareedKhan-dev/kimi-k3-in-c · ⭐ 6732 · C