2026-11-16
IT之家11月15日消息,人工智能失控导致人类灭绝,听起来或许像科幻电影中的情节,但前 OpenAI 研究员保罗 · 克里斯蒂亚诺(Paul Christiano)认为,这可能成为当今在世人群最有可能面 ... [详细]
|
IT之家11月15日消息,人工智能失控导致人类灭绝,听起来或许像科幻电影中的情节,但前 OpenAI 研究员保罗 · 克里斯蒂亚诺(Paul Christiano)认为,这可能成为当今在世人群最有可能面临的死亡原因。 前 OpenAI 研究员保罗·克里斯蒂亚诺 当地时间周一,克里斯蒂亚诺在希尔顿讲座(The Hinton Lectures)上表示:“我认为,在座的大多数人,最有可能的死亡原因将是一次 AI 意外事故。” 克里斯蒂亚诺目前担任人工智能对齐研究中心(Alignment Research Center)负责人。他警告称,随着 AI 智能体的能力不断增强,它们可能学会欺骗负责监督它们的人类、破坏用于评估自身表现的系统,最终变得过于强大,以至于人类无法再对其进行有效控制。 他列举了今年早些时候 OpenAI 的 AI 智能体入侵开源代码托管平台 Hugging Face 的事件,以及英国人工智能安全研究所的一项评估。在后者的测试中,一个 Claude 智能体曾试图在某个开源软件包中植入恶意代码。 克里斯蒂亚诺表示:“我认为,未来三年内发生 AI 接管事件的风险很高。” 根据他的 LinkedIn 个人资料,克里斯蒂亚诺曾于2017年至2021年在 OpenAI 担任技术研究人员。目前,他是非营利组织人工智能对齐研究中心的执行主任。该机构的主要研究方向,是让机器学习系统的目标与人类利益保持一致。 AI 导致人类灭绝的风险 克里斯蒂亚诺的警告,让研究人员之间一场日益激烈的争论再次受到关注:随着 AI 系统变得越来越自主,它们是否最终会摆脱人类的有效控制,甚至导致全人类灭绝? 今年9月,这场争论进一步升温。Anthropic 负责 AI 对齐压力测试团队的埃文 · 休宾格(Evan Hubinger)当时表示,他认为未来十年内,AI 导致全人类死亡的概率超过10%。 IT之家注意到,被广泛称为“AI 教父”的计算机科学家杰弗里 · 辛顿(Geoffrey Hinton)也表示,未来十年内 AI 导致人类灭绝的概率达到10%,并不是一个不合理的估计。 不过,也有研究人员对此持更加怀疑的态度。AI 研究员兼作家加里 · 马库斯(Gary Marcus)此前接受 Business Insider 采访时表示,AI 确实可能放大网络攻击、生物武器和虚假信息等严重风险,但他认为,目前还没有可信的证据表明,人类近期会因此走向灭绝。 克里斯蒂亚诺还指出,目前用于控制高级 AI 的技术方案仍未得到充分验证。其中包括使用能力较弱的模型监督能力更强的模型,以及监测 AI 模型的思维链(Chain of Thought),以判断其内部推理过程是否存在风险。 他认为,AI 公司需要建立共同的安全标准,并确保在发现某个 AI 系统已经无法受到有效控制时,有能力放缓甚至停止相关技术的开发。 克里斯蒂亚诺强调:“我们绝不能走到这样一步:已经开发出一个强大的 AI,却突然发现自己根本无法控制它。” |
2026-11-16
IT之家11月15日消息,人工智能失控导致人类灭绝,听起来或许像科幻电影中的情节,但前 OpenAI 研究员保罗 · 克里斯蒂亚诺(Paul Christiano)认为,这可能成为当今在世人群最有可能面 ... [详细]
2026-11-16
参考来源:杨荫浏、曹安和、储师竹:《瞎子阿炳曲集》,黄鹤:《跪地而泣的大师》,《环球人物》、赵沨等:《阿炳论》部分章节仅代表笔者个人观点,请理性阅读1978年6月,北京,中央音乐学院 ... [详细]
2026-11-16
黄仁勋离开英伟达,表面上看是一桩桃色风波;可真正让华盛顿兴奋的,从来不是谁和谁谈恋爱,而是谁还能不能影响美国对华AI芯片政策。《华盛顿邮报》披露,鲁比奥拿到CIA报告后,并没有 ... [详细]
2026-11-16
2016年8月14日,王宝强拿出一纸声明,将婚外情丑闻公之于众,宋喆、马蓉一夜之间声名狼藉,两人如今又过着怎样的生活?据传,宋喆于3年前刑满释放,躲在小县城租来的房子里,被他狠狠伤害过 ... [详细]
2026-11-16
出品 | 子弹财经作者 | 婉青编辑 | 闪电美编 | 小青审核 | 颂文这两年,都市男女们的周末正在集体往山上搬。过去扎根健身房、对着器械反复撸铁的人,开始挣脱四堵墙;习惯在楼宇 ... [详细]
啥病人看了这个都得好啊! 副标题 这胸是真的! 副标题 你赢了! 副标题 我是关心这是在哪里
乞丐装的最新境界! 副标题 买家你确定你不是阿宝?? 副标题 这裤子不敢坐下啊! 副标题 颜值
这鼠标垫你看到了什么?邪恶了吧! 副标题 毫无违和感! 副标题 小卖部的这女孩真会选呀! 副
女人真的不容易,怀孕后,内脏被挤压的严重,挺着大肚子干啥都不方便!近日,刘嘉姵和闺蜜集体拍
锤哥的替身也是辣么的帅气! 副标题 锤哥的替身好多啊! 副标题 你杀了你的替身,你可就没替
关于舌钉,一定是从欧美流传过来的朋克风,很多人喜欢在脸上、身上穿各种环,打各种钉,可能是
折耳根是一种在南方很常见的植物,北方人可能很少人知道折耳根是什么。下面就让我们先来
说到卢森堡这个国家,大家都知道这是一个比较小的国家,但是卢森堡的经济是相当的发达的,可