腾讯混元开源“极小”模型，实际存储仅占用600MB
2026-02-10 16:43
新京报贝壳财经讯（记者罗亦丹）2月10日，腾讯混元开源面向消费级硬件场景的“极小”模型HY-1.8B-2Bit，该模型基于1.8B参数的小尺寸模型，通过2Bit量化技术，等效参数量约为0.3B，实际存储占用仅约600MB，比常用的一些手机应用还小，实现了端侧部署的新突破。
该模型基于混元团队首创的产业级2Bit端侧量化方案，通过对HY-1.8B-Instruct模型进行2比特量化感知训练（QAT）产出，模型大小减少至原始精度模型的1/6，同时在真实端侧设备上生成速度提升2-3倍，可大幅提升使用体验。能力上，模型还保留了原版的思维链，可以为不同复杂度的任务提供相应深度的推理过程。这是业界首个实现2bit产业级量化的端侧模型实践。
随着大语言模型普及，如何将模型在手机、耳机或智能家居等设备上应用，成为业界难题，尤其是不少应用对模型的离线部署、私密性等都有更高的需求，这就需要更多能够在端侧运行的又小又强的模型。目前，模型已在开源模型社区Huggingface和Github上线。
编辑 杨娟娟
校对 柳宝庆
来阅读我的更多文章吧
罗亦丹
贝壳财经记者
记者主页
展开全文
全文
0字
您已阅读
%
打开贝壳财经APP 阅读更多精彩资讯
