一个 8B 参数的大模子，时时需要约 16GB 显存。参数越多，越吃显存，这即是为什么，内存价钱一天比一天高。

当今，有一种门径，不错省下 6 倍显存，却确凿不损耗模子性能。

夙昔两年，围绕这个看似顶点的念念路，一条巨匠性的技艺竞赛正在成型。而就在这条赛说念上，一个悉数基于国产算力的决议，刚刚给出了我方的第一个回复。

模子被压到了不到 3B，同期，武艺却不错保留 97%，致使更进一步，要是结合 MoE 架构，翌日不错径直在一部 8GB 内存的手机，运行 600 亿参数的大模子。

听上去匪夷所念念，怎样作念到的？

三个值，能跑大模子吗

斗鱼app2026世界杯中国官方下载

传统大模子用绝顶精准的数字存储，意味着每个权重不错取几万种不同的数值，精度很高，但也很占内存。三值量化是一个顶点的反向操作：径直把可选的数值从几万种砍到三种。技艺上，这被称为 1.58-bit，因为编码三个值偶合需要约 1.58 个二进制位。

这个压缩有多顶点？打个譬如：要是传统大模子的权重是一幅全彩像片，三值量化即是把它压成唯有黑、白、灰三色的极简图形。

直观上你会合计这势必归天惨重。但夙昔两年的扣问反复讲解，模子权重里存在大都冗余信息。三个值，要是分派稳当，足以承载绝大部分的模子武艺。

这不是一个新宗旨。2024 年，微软扣问院发布了 BitNet b1.58，第一次系统论证了三值大模子不错迫临全精度模子的性能。微软随后在昨年进一步发布了 BitNet b1.58 2B4T，一个 20 亿参数、4 万亿 token 磨真金不怕火的开源三值模子。上个月，好意思国公司 PrismML 发布了 Ternary Bonsai 系列，声称是首批交易可用的 1.58-bit 模子。

▲

上：Llama FP16架构，下：微软扣问院开发的BitNet架构

学术界也相似在跟进：Tequila 冷落了措置三值量化中「死权重罗网」的新门径，TernaryLM 探索了从零开动的原生三值磨真金不怕火。

一条巨匠赛说念正在成型。但有一个关键问题永恒莫得被回复：

三值大模子磨真金不怕火，能在国产算力上跑通吗？

昇腾上的第一次

这一次，在华为鲲鹏昇腾开发者大会（KADC 2026）上，面壁智能给出了谜底。

BitCPM-CANN 是面壁智能结合清华大学、OpenBMB 开源社区发布的三值大模子系列。它的意旨不仅在于「又发了一个三值模子」。在巨匠赛说念上，BitCPM-CANN 作念到了三个此前莫得东说念主作念到的事情。

第一次，在华为昇腾上端到端完成三值大模子磨真金不怕火。此前通盘公开的三值模子磨真金不怕火都在 NVIDIA GPU 上完成。国产芯片阵营第一次领有了我方的三值磨真金不怕火武艺。

第一次，一次性把边界推到 8B。此前昇腾上的低比特磨真金不怕火停留在较小边界的考据阶段。BitCPM-CANN 径直发布了 0.5B、1B、3B、8B 四个档位，散失从手机到 PC 的完满端侧场景。

第一次，收尾了与全精度模子的完满对照评测。11 项任务、四大类评测（知识、阅读相识、学科知识、数学推理），1B 到 8B 档位的武艺保留率在 95.7%到 97.2%之间。

97.2%的武艺保留率意味着什么？在 ARC、CMMLU、GSM8K 等主流评测中，BitCPM-CANN 三值模子与同尺寸 MiniCPM4 全精度模子的差距，曾经小于很多全精度模子之间的差距。其中，3B 档位的保留率最高，达到 97.2%。

况兼，这不仅仅论文里的数字，是能实在不错「拿来就用」的恶果。BitCPM-CANN 的沿途尺寸版块曾经开源，0.5B 到 8B 四个档位都不错径直下载复现。

关于熟谙面壁智能 MiniCPM 系列的开发者来说，BitCPM-CANN 即是 MiniCPM 家眷的三值版块，如故一套生态。在并吞个 GitHub 社区，家眷前辈蕴蓄了 3 万颗星、Hugging Face 总下载量超 3000 万的「家产」，当今滋长出来了新的场地。

6 倍显存，从做事器得手机都「吃到红利」

比较 BF16 全精度模子，BitCPM-CANN 从纯粹 6 倍显存，这个数字开发者最能径直感知：一个 8B 参数的全精度模子需要约 16GB 显存，BitCPM-CANN 三值版块不到 3GB，不错流通运行在一部手机上，互助 MoE 与激活范围箝制，60B 边界的模子有望装入终局拓荒。

硬件端曾经经准备好了。高通最新的旗舰芯片 8850 和 8397 支撑 2-bit 原生推理，BitCPM-CANN 提供的偶合是不错径直喂进去的低比特权重。

芯片厂商等供给，模子厂商等芯片，当今双方同期到位了，乐动体育世界杯中国官网首页怎样不是一种「双向奔赴」。

手机厂商对端侧大模子的参加一直在加快。上周 Google I/O 上，Gemini Intelligence 全面罗致 Android 拓荒，从手机得腕表到车机；苹果也将在 6 月 WWDC 上展示下一代 Apple Intelligence 的紧要升级。

两大手机操作系统同期发力，共同指向一个执行：手机端侧要跑越来越强的 AI，内存即是最硬的瓶颈。谁能用更少的内存跑更强的模子，谁就掌持了下一轮竞争的主动权。

骨子上，要是结合通盘这个词 AI 产业正在阅历的阵痛，价值又会更进一竿：4 月时，高盛把全年 DRAM 价钱涨幅预期上调到 280%，好意思银预估巨匠 HBM 阛阓将达到 546 亿好意思元。

AI 基础门径最紧缺的资源即是内存，6 倍显存红利意味着不增多物理内存，就能把模子武艺进步数倍。在内存不息加价的情况下，这不是优化，是刚需。

三值量化不是「用精度换内存」的谐和。当 97%的武艺被保留住来时，阐发传统 16 位模子里大都的精度可能是冗余的。三个值，足以承载一个大模子的绝大部分知识。低比特不再是工程上的从简技能，而是一种新的权重知识承载表情。

为什么是面壁智能，为什么是当今

当 AI 从云表走向终局，端侧模子正在成为个东说念主智能拓荒的中枢武艺。手机、电脑、车机，每一个贴近用户的终局都在等一个富饶小、富饶强、富饶省内存的模子。这条赛说念的赢输手，不会是那些只会把模子作念大的团队，而是能把模子作念小、作念轻、作念到实在能跑起来的玩家。

为什么是面壁智能，能在端侧大模子这条路上，一直走在前沿？这个问题的谜底不在 BitCPM-CANN 自身，而在这家公司夙昔几年，一直在作念的一件看起来有些「不对群」的事。

面壁智能从拓荒之初就押注效力，在国内大多数团队追赶更大模子的时候，他们花了大都时分作念底层磨真金不怕火框架 BM-Train，措置「怎样用更少的资源，训出富饶好的模子」，这套基础门径蕴蓄是自后一切的发轫。

在 1.58-bit 方朝上，面壁智能的判断早于行业共鸣。很多数团队还在游移极低比特是否可行时，面壁智能就采纳了这条道路，先在 GPU 上跑通了完满的磨真金不怕火历程和门径论，再举座挪动到昇腾平台上。不错说，BitCPM-CANN 不是把一个模子移植到了国产芯片上，而是把一整套经过考据的磨真金不怕火门径、效力道路和工程体系，搬进了国产算力的底座。

在模子层面，面壁智能的端侧模子 MiniCPM 系列在 GitHub 上蕴蓄了稀疏 3 万颗星，Hugging Face 开源总下载量稀疏 3000 万，是端侧大模子领域最受接待的中国开源模子家眷。

BitCPM-CANN 恰是 MiniCPM 家眷向三值量化的蔓延，远不啻一个展示性的「PPT 模子」，是一个实在可复用的工程地基。它背后的磨真金不怕火链路曾经被千里淀为昇腾低比特磨真金不怕火的基础门径，后续通盘想在昇腾上作念低比特磨真金不怕火的团队，都不错在并吞套底座上起步。

值得一提的是，BitCPM-CANN 还在华为昇腾上完成了端到端的三值磨真金不怕火，磨真金不怕火效力达到老例基线的 95%。这讲解了这套门径论不依赖特定硬件平台，国产算力相似不错跑通。

不是等硬件变得富饶高大来合适模子，要让模子变得富饶颖悟来合适硬件。

从磨真金不怕火端的华为昇腾，到推理端的终局芯片，再到开源的模子和磨真金不怕火剧本，这是一条完满的国产闭环，框架国产，芯片国产，模子国产，门径论自主。面壁智能的下一步曾经明确：进一步进步模子的武艺保留率，用 MoE 架构膨胀更大边界模子的容量，把 6 倍显存红利完满开释到部署中。更长期的狡计，是散失从预磨真金不怕火到对皆的全历程低比特化。

从底层磨真金不怕火框架 BM-Train，到端侧模子家眷 MiniCPM，再到 BitCPM-CANN，面壁智能用几年时分搭建了一套完满的端侧大模子技艺体系。在巨匠赛说念上，面临微软、PrismML，面壁智能展现出了私有的不同上风之处在于：从框架、门径论、模子到芯片适配，构建了一条完满的端侧技艺道路。

当 AI 竞争从「谁的模子更大」转向「谁能让智能实在跑在每一台拓荒上」时乐动体育世界杯中国官网首页，掌持端侧技艺言语权的东说念主，才站在了最有意的位置。

　　声明：新浪网独家稿件，未经授权谢却转载。 -->