2026-11-21
11月20日晚,零跑汽车发布《关于零跑A10后备厢储物盒的情况说明》称,关注到网络上流传的零跑A10后备厢下层储物盒受损的相关视频。公司高度重视,第一时间联系用户并对车辆进行了 ... [详细]
|
11月21日凌晨,北京时间刚过零点,腾讯首席AI科学家姚顺雨带着混元团队出现在海外社交媒体社区,做了一场文字AMA(公开问答)。问题来自全球开发者,回答前后持续两个多小时。 在提问的全球开发者眼中,中国开源模型已经自成一张对照表;混元被拿来比较的对象是千问和Kimi。 问答环节,有人直言:字节跳动和Kimi等(参数量)似乎都在往3T甚至5T推,你们为什么停在700B?混元团队回应:“Hy3和Hy4已经证明,较小的模型也能超越较大的模型,而且更便宜。” 不过,混元团队也表示,Hy4仍有很大的改进空间,尤其是通过后训练。“我们正投入大量精力进行大规模强化学习,同时继续改善用户体验和模型安全。我们还计划训练更大规模的模型。” 当被问及开发中最难的时刻,混元团队成员回答是:“从Hy3到Hy4的过渡是非常艰难的。我们没有进行那么多详细消融实验研究,因此在训练开始时有很多不确定性。在训练开始时,我真感到非常紧张。幸运的是,训练最后出乎意料地顺利。感觉就像是在赌一把全押,结果居然赢了。” 技术取舍上,混元团队提到了一些细节:架构选择在MLA(Multi-head Latent Attention,多头潜在注意力)和GQA(Grouped Query Attention,分组查询注意力)之间反复权衡了相当长一段时间。MLA计算强度远远高于GQA,这使得在推理GPU上进行规格解码时受到了计算限制。然而,在相同的KV缓存大小下,MLA提供了比GQA更好的模型质量。幸运的是,随着DSA(DeepSeek Sparse Attention)引入,能够降低MLA在解码过程中的计算强度。这使得平衡发生了转变,最终决定选择MLA。 换言之,混元团队选了更吃算力但效果更好的注意力方案,再用稀疏注意力把推理成本压回来。 当被询问后训练里最难改的行为时,混元团队只回了四个字:过度思考。 |
马斯克从深圳飞到上海收到超级工厂硬核“手办”
马斯克从深圳飞到上海收到超级工厂硬核“手办” 2026-11-21
11月20日晚,零跑汽车发布《关于零跑A10后备厢储物盒的情况说明》称,关注到网络上流传的零跑A10后备厢下层储物盒受损的相关视频。公司高度重视,第一时间联系用户并对车辆进行了 ... [详细]
2026-11-21
阿莫多瓦带领《名利场》走进他的工作总部,畅谈个人首部小说《只在飞机上写作的男人》、人工智能、演员整容等。当然,话题也少不了“双哈维”组合以及他们携《黑球》冲击奥斯卡 ... [详细]
2026-11-21
《记住我》里的罗伯特·帕丁森与皮尔斯·布鲁斯南:一个演过邦德,一个即将接棒新一任詹姆斯·邦德终于尘埃落定。距离丹尼尔·克雷格的最后一部邦德电影《007:无暇赴死》上映已 ... [详细]
2026-11-21
短剧越来越火,快手也从中找到了新的营销增量。11月19日,快手科技发布2026年第三季度业绩。财报显示,三季度总收入316亿元,同比下降11.1%;经调整净利润7.9亿元,同比下降84.2%;经调整 ... [详细]
2026-11-21
2026年11月17日,猫眼想看榜上挂着一部还没上映的电影。想看人数2.8万。同一张榜的榜首,是《复仇者联盟5》,本月新增想看29万。第二位《流浪地球3》,累计75万。这部片子的导演,是 ... [详细]
啥病人看了这个都得好啊! 副标题 这胸是真的! 副标题 你赢了! 副标题 我是关心这是在哪里
乞丐装的最新境界! 副标题 买家你确定你不是阿宝?? 副标题 这裤子不敢坐下啊! 副标题 颜值
这鼠标垫你看到了什么?邪恶了吧! 副标题 毫无违和感! 副标题 小卖部的这女孩真会选呀! 副
女人真的不容易,怀孕后,内脏被挤压的严重,挺着大肚子干啥都不方便!近日,刘嘉姵和闺蜜集体拍
锤哥的替身也是辣么的帅气! 副标题 锤哥的替身好多啊! 副标题 你杀了你的替身,你可就没替
关于舌钉,一定是从欧美流传过来的朋克风,很多人喜欢在脸上、身上穿各种环,打各种钉,可能是
折耳根是一种在南方很常见的植物,北方人可能很少人知道折耳根是什么。下面就让我们先来
说到卢森堡这个国家,大家都知道这是一个比较小的国家,但是卢森堡的经济是相当的发达的,可