2026-11-20
新智元报道在13类复杂的算法任务、26次独立运行中,一个全新的神经网络在隐藏测试集上全部达到了100%的准确率。更不可思议的是,整个过程没有喂给它海量数据,甚至完全没有使用「 ... [详细]
|
新智元报道 在13类复杂的算法任务、26次独立运行中,一个全新的神经网络在隐藏测试集上全部达到了100%的准确率。 更不可思议的是,整个过程没有喂给它海量数据,甚至完全没有使用「反向传播」和「梯度下降」。 这个晶莹剔透、小巧至极的满分神经网络,是Claude Opus 5.5,用代码一行一行直接「手写」出来的。 近日,微软研究院联合约翰斯·霍普金斯大学、哥伦比亚大学和纽约大学的团队,发表了新研究「可解释权重空间编程(iWSP)」。 这项研究证明:前沿大语言模型已经可以直接越过传统的优化器,依据固定的评测反馈,像外科医生一样精准构思计算逻辑,并用代码将算法直接写进Transformer的权重里。 不用反向传播,AI直接当起「钟表匠」 深度学习常被戏称为「炼丹」。 整个过程,就像一群盲人围着一台布满几亿个旋钮的巨大控制台,谁也看不见里面长什么样,只能凭机器偶尔发出的「报错声」,摸索着拧这个、转那个。 几万步迭代下来,机器居然真就正常运转了,某些任务甚至比人类自己还高,堪称「原地飞升」。 可你要是追问一句:哪个旋钮管逻辑?哪个旋钮管记忆?没人答得上来。 总之,效果拔群,原理不详——旋钮拧对了是玄学,拧错了是事故,中间隔着一整片无人能解释的黑箱。 在工程应用上,只要预测得准,这勉强可以接受。但在脑科学、物理学等极其严肃的科学探索中,这个缺陷太致命。 正如研究团队所指出的核心痛点: 神经网络预测得很好,但很难被理解。在以『解释』为终极目标的科学领域,这是一个严重的问题。 以神经科学为例,深度编码模型能够非常准确地预测大脑对自然刺激的反应,但它们却根本说不出,究竟是刺激中的「哪些特征」驱动了这些反应。 为了打破这个死局,微软团队提出了iWSP。他们决定:不许用反向传播,直接让AI去设定那些旋钮。 在iWSP的框架中,Opus 5.5化身为创世者。 它完全颠覆了传统的工作流:
平均每次跑39轮左右。 最终诞生的,是一个人类可以像阅读普通书籍一样,从头读到尾的「透明」Transformer。
反常识的真相 这项实验最让人拍案叫绝的,不仅是它成功让AI造出了AI,更在于它揭示了一个违背直觉的真相。 在传统的AI语境里,我们笃信「大力出奇迹」。千亿参数只是起步,万亿参数才是未来。 大家都以为,神经网络越大越能干。 但这篇论文的数据,直接把这个常识反了过来。 在13类算法实验中,所有由AI「手搓」出来的模型,最终都在隐藏测试集上拿到了100%的准确率。 但当我们对比Anthropic家族不同级别的模型时,神奇的现象出现了:同样把算法题写到全对,越强的AI,写出的网络越小。
建议大家把「166个参数」打在公屏上。在这个动辄千亿、万亿参数的大模型时代,166个参数简直就像一颗微尘。 为什么会有这么离谱的差距? 日志记录了Opus的「心路历程」:Opus的策略是,先想办法写对,再一轮一轮地往小里删。 一开始,Opus为了保证逻辑能跑通,也会先写一个大概有3400个参数的网络。
这就像是学霸和学渣的区别。 学渣(Haiku)不懂公式背后的原理,遇到不会的题就靠死记硬背,把所有可能的情况都塞进脑子,所以需要10万个参数的「大笔记本」。 而学霸(Opus)彻底看透了算法的本质,直接提炼出了最核心的计算规则,所以只需要166个参数的「一张小纸条」。 这个发现极其震撼。它证明了:如果能找到真正正确的逻辑,解决复杂问题根本不需要堆砌。 从数学题到人类大脑,让科学免于「被糊弄」 你可能会问:费这么大劲,让AI手搓几个做数学题的极小模型,到底有什么用? 答案是:为了真正的科学发现。 科学界目前正面临一个尴尬的困境。拿神经科学来说,科学家为了搞懂人类大脑,会使用现成的深度学习黑盒模型来预测大脑的反应。 确实,模型预测得很准,但科学家傻眼了:我用一个搞不懂的黑盒,去预测另一个搞不懂的黑盒(大脑)。预测对了有什么用?我还是不知道大脑到底是怎么工作的! 我们需要的是「解释」,而不仅仅是「预测」。 微软团队这套iWSP方法的价值,在这里大发神威。 因为它造出的网络,内部逻辑是透明的。研究团队将这个方法,直接应用到了极高难度的大脑数据(Brain Encoding Models)中:在语言fMRI(功能性磁共振成像)的实验里,iWSP立下了大功。 面对复杂的大脑数据集,如果用传统的反向传播训练,黑盒模型会为了拿到高分,偷偷利用数据里的瑕疵来作弊。 科学家根本察觉不到。
它直接把问题摆在了明面上。 此外,在视觉皮层任务中,iWSP不仅预测效果超过了现有的可解释模型,还清晰地展示了在早期视觉和高级视觉区域,大脑如何进行不同计算。 在听觉ECoG(皮层脑电图)数据上,它系统性地发现并定义了那些能够预测神经活动的「可解释声学特征」。 通过iWSP,AI真正变成了帮助科学家发现真理的显微镜。 AI自主进化的黎明时刻 读到这里,许多人可能会激动地大喊:深度学习的「炼丹时代」结束了!以后训练大模型再也不需要买几万张英伟达H100显卡了,直接让超级AI写权重就行了! 且慢。 尽管iWSP在纯算法任务和脑响应预测中非同凡响,但在自然语言处理(NLP)任务中,它却撞上了南墙。 在情感分类等NLP任务中,人类的语言特征高度模糊、非结构化,充满了幽默、反讽、多义词,根本没有绝对清晰的「数学公式」或「计算模块」可以套用。 面对这种任务,Opus 5.5显得颇为吃力。 为了达到一定的准确率,它不得不拼命增加特征,导致模型参数量被迫膨胀到了19万个左右。更残酷的是,参数涨到19万,情感分类也只到72%;四个语言任务里,复述判断那个连「全猜最常见答案」的基线都没过。 这指出了当前iWSP方法的核心局限性:它目前主要擅长「重组已知的算法和计算模块」。 复杂表征的涌现,目前依然离不开海量数据和梯度下降。 因此,绝对不能据此认定,通用大模型(AGI)已经不需要训练了。 真正底层的基座模型,依然需要算力的「暴力美学」。 尽管如此,微软的这项研究,依然是AI史上一个迷人的里程碑。 它向世界证明:在特定的场景下,神经网络可以摆脱「盲目进化」。 参考资料: https://arxiv.org/abs/2611.18114 https://github.com/csinva/weight-space-programming-autoresearch 编辑:大卫 |
2026-11-20
新智元报道在13类复杂的算法任务、26次独立运行中,一个全新的神经网络在隐藏测试集上全部达到了100%的准确率。更不可思议的是,整个过程没有喂给它海量数据,甚至完全没有使用「 ... [详细]
2026-11-20
美国商务部本周发布一项规则,禁止中国AI企业“及其他受限实体远程访问美国先进AI芯片”。这条规则堵的是一个存在已久的通道:顶级美国AI芯片对华出口本就受限,但只要拿到远程访 ... [详细]
2026-11-20
马斯克今天在中国,可谓是元气满满的一天: 东海朗庭酒店早起。 6:30-7:30,远程接受纽约时报DealBook峰会访谈。 7:30-8:30,远程接受奥斯汀TomorrowX峰会访谈。访谈中,马斯克说: “ ... [详细]
2026-11-20
美论坛上那句“孟买已领先上海30年”,在中印网友之间来回吵了好几轮,中国人仍觉得印度落后,这个结一直没解开。11月13日《印度快报》披露的一条消息,给这场争论添了个现成的注脚 ... [详细]
2026-11-20
说起雷神山医院,当年12天就建起来,花了5个亿,占地3万多平米,可疫情都过去好几年了,这座医院现在到底咋样了?真的像有些人说的那样荒废了吗?要说清楚这件事,咱们先把时间拨回到2020年 ... [详细]
啥病人看了这个都得好啊! 副标题 这胸是真的! 副标题 你赢了! 副标题 我是关心这是在哪里
乞丐装的最新境界! 副标题 买家你确定你不是阿宝?? 副标题 这裤子不敢坐下啊! 副标题 颜值
这鼠标垫你看到了什么?邪恶了吧! 副标题 毫无违和感! 副标题 小卖部的这女孩真会选呀! 副
女人真的不容易,怀孕后,内脏被挤压的严重,挺着大肚子干啥都不方便!近日,刘嘉姵和闺蜜集体拍
锤哥的替身也是辣么的帅气! 副标题 锤哥的替身好多啊! 副标题 你杀了你的替身,你可就没替
关于舌钉,一定是从欧美流传过来的朋克风,很多人喜欢在脸上、身上穿各种环,打各种钉,可能是
折耳根是一种在南方很常见的植物,北方人可能很少人知道折耳根是什么。下面就让我们先来
说到卢森堡这个国家,大家都知道这是一个比较小的国家,但是卢森堡的经济是相当的发达的,可