立足娱乐圈·争做八卦帝!

徽声在线

Kimi K3开源之后,顶尖模型开源迎来可能性

来源:未知 作者:佚名 发布时间:2026-07-30 12:07:15

界面新闻记者 | 伍洋宇
界面新闻编辑 | 文姝琪

Kimi K3开源后,业界迎来首个完整开放权重的3T级别模型,也即目前全球参数规模最大的开源模型。

过去三年,在全球AI大模型领域发生的一个重要转变,是中国模型厂商相比美国更大程度占据了开源社区生态的优势地位。

K3继续放大了这一效应。Kimi在官方介绍中表示,虽然K3整体表现仍落后于最强的闭源模型Claude Fable 5和GPT-5.6 Sol,但在其整套评测中展现出前沿水平的能力,并稳定超过了其他所有模型。

相比Kimi K2,K3的总参数量增长了167%,激活参数增长220%,上下文长度则由128K扩展至1M,提升了8倍。理论上来说,其计算复杂度将按照平方数级别增长。

K3之所以能把参数量堆到2.8万亿,并实现2.5倍的扩展效率(相同计算量下更高的模型能力)提升,核心在于其对传统 Transformer架构进行了KDA(Kimi Delta Attention/混合线性注意力机制)和Attention Residuals(注意力残差)两项底层优化。

前者能把不断增长的KV Cache(缓存) 压进固定大小矩阵状态,后者能够有效减少模型训练中的信息衰减和梯度消失问题,保持信息流的顺畅。

同时,K3利用Stable LatentMoE(稳定隐空间混合专家系统)、MoonEP(底层通信库)、FlashKDA(高性能计算算子)等技术,对推理计算成本、通信能力以及计算效率等方面均进行了大幅优化。

登陆Hugging Face之后,K3在30分钟内以超过4000个赞登顶趋势榜。Hugging Face CEO Clem Delangue发文称,这是迄今为止最快的发布增长速度。

OpenAI总裁格雷格·布罗克曼(Greg Brockman)在近期一次受访中谈及K3,称这是一款毋庸置疑具有竞争力的新AI模型,并根据相关评估透露,中国在模型开发方面与美国的差距可能仅剩4个月左右。

此外,马斯克也曾公开称赞K3架构底层的《Attention Residuals》论文研究“令人印象深刻(impressive)”。

除了开源本身带来的影响力,一名AI大模型研发者对界面新闻记者表示,K3开源更直接的冲击在于商业层面,结合更低的价格与逐渐缩小的模型差距,中国开源模型从根本上影响了OpenAI和Anthropic等闭源模型厂商对API定价权的主导,这背后涉及大量潜在商业利益。

在K3出现之前,另个轰动一时的闭源模型为Anthropic的Fable 5。该模型并无官方公布的准确参数,但业界普遍猜测这是一个5T-10T级别的模型。

而Fable 5和K3的爆火,无一例外在不同程度上打消了业界此前存在已久的疑虑,即继续拉高模型参数是否还有意义?

前述研发人员对界面新闻记者表示,模型厂商要留在牌桌上,除了继续“Scaling Up”(扩大规模)几乎别无选择。“至少从目前来看,RL(强化学习)等后训练技巧主要作用还是‘雕花’,基座模型越好,后训练的起点才会越高。”

中国模型厂商已经在陆续跟进2T参数以上模型研发。阿里于7月19日发布了Qwen3.8 Max预览版,一款参数规模高达2.4万亿的多模态模型;7月初,有报道称MiniMax正在研发一款2.7万亿参数新一代大语言模型,内部称“M3 Pro”。

两款模型据悉都上线即开源。事实上,这已成为中国模型厂商扩大技术影响力的重要途径。

百度今年1月正式上线的文心5.0,在官方介绍中即为2.4T参数的模型,或是国内最早达成这一规模的厂商,但这款模型在国内外并未激起太大讨论声量。

一方面,该模型采用超稀疏混合专家架构,激活参数比例小于3%,也即70B左右。相比之下,K3激活参数约为104B。某种程度上,激活参数规模大小也会影响模型表现。

另一方面,尽管文心4.5在去年9月加入开源生态,但文心5.0仍是一款闭源模型,有行业人士指出,这是一种基础模型开源、旗舰模型闭源的协同路线,或是希望达成前者引流、后者转化的技术普惠与商业利益的平衡。

但中国模型的开源生态正逐渐强大,文心5.0的闭源意味着大量开发者无法自行部署,并通过观察研究其内部结构做出更多技术分析,一定程度上失去了来自极客群体的声量,而这对于模型当前的影响力已愈发重要。

对于更大规模参数模型的追赶,除了一系列软硬件层面的综合性挑战,摆在厂商面前更直观的困境在于算力的紧缺。

据行业人士分析,单从部署而言,K3便需要一台8卡B300服务器,训练则更需要顶级AI显卡的万卡级别集群。仅在上线第二日,Kimi便紧急发布了算力紧缺的提示并暂停了会员开放。

在这一点上,创业公司在大厂面前再次显现出劣势来。一名智算中心人士表示,目前其大部分算力已被头部大厂这样的大客户锁定,对于以Kimi为代表的创业公司而言,这意味着其购买能力是滞后的,即便遇到K3需求爆发这样的情形也难以及时补充。

另一家云厂商人士透露其客户构成,前两大客户分别为头部硬件大厂和互联网大厂,其他模型厂商合计月流水占比不及其中任意一家。并且,由于顶级显卡的稀缺性,云厂商也面临客户订单交付延迟的困境,其第一大客户的千台订单上半年仅交付10%。

即便如此,模型厂商推进更优模型并开源的目标,某种程度上也是紧迫的。

在Kimi K3开源几乎同一周,黄仁勋联合微软、Meta、IBM、英特尔等25家科技巨头发表公开信支持开源生态,OpenAI和谷歌随即补签加入。

或出于舆论与商业的双重压力,在技术封锁立场上向来坚定的Anthropic CEO Dario Amodei,也于近日公开发表声明称,Anthropic公司从未主张禁止开放权重模型。

在更多有分量的号召下,全球模型开源的局面愈发势不可挡。从技术普惠的角度来看这无疑是积极的,但对企业而言,从技术到成本,全员开源的局面只会让其在用户面前更加透明,届时突破与生存并不会比今天更加容易。

    责任编辑:
    莱比锡2-1力克圣保利锁定德甲季军,欧冠席位到手施拉格尔建功

    2026-05-10

    德甲第33轮,莱比锡主场2-1击败圣保利,施拉格尔和威利-奥尔班先后破门,塞赛终场前扳回一城。莱比锡提前锁定联赛第三获得欧冠资格。 ... [详细]

    砍28+10+4帽仍难逃质疑!张子宇三大短板待解 宫鲁鸣面临幸福烦恼

    2026-07-09

    张子宇虽在比赛中砍下惊艳数据,但攻击范围、速度和耐力三大短板仍待改善。宫鲁鸣教练面临内线球员重叠的幸福烦恼,如何平衡球权成难题。 ... [详细]

    网红边牧被偷后续大反转!偷狗者慌了神,拦车纠缠求和解遭拒

    2026-06-01

    网红边牧“锄头”被偷事件后续,偷狗者从嚣张到求和解,博主硬气回怼绝不和解,期待法律严惩作恶者。 ... [详细]

    官方确认:利物浦青训中场斯蒂芬森70万镑转会博尔顿

    2026-07-01

    利物浦22岁中场卢卡·斯蒂芬森即将永久转会博尔顿,转会费约70万镑。球员曾担任利物浦U18队长,苏超两赛季67场8球7助攻,技术特点契合英冠需求。 ... [详细]

    阿森纳密洽51球锋霸佐利斯,特罗萨德替代者浮出水面

    2026-07-12

    阿森纳正与布鲁日就希腊前锋佐利斯转会展开深入谈判,这位上赛季制造51球的锋线新星被视为特罗萨德理想替代者,其多面手特性能完美适配阿尔特塔战术体系。 ... [详细]

    图酷

    图说天下

    资讯排行

    首页 - 娱乐圈事 - 体育圈事 - 两性情感 - 星座命运 - 奇闻怪事 - 历史故事 - 科技资讯 - 图说天下 - 知识百科 - 图酷 - 娱乐八卦 - 开云体育登录_官网入口_安全便捷 - 乐鱼体育_乐鱼APP_体育赛事_在线娱乐平台
    电脑版 | 移动端
    Copyright © 2002-2019 徽声在线 版权所有
    删帖请联系邮箱:[email protected]