为啥 AI 公司和其从业者隔一段时间就出来发 AI 警告 ,是在反向炒作还是 AI 确实在野蛮生长?怎么回事?
OpenAI 首席科学家称已造出「异星心智」,并警告「全人类都要刹车」,这意味着什么? 8 月 27 日,OpenAI 官网挂出一封公开信,题目是《A call for collective action on cyber defense》。第一句就是判断,我们加固网络防御的窗口是有限的。信里说,接下来几个月,随着各地模型能力提升,AI 驱动的网络攻击会比现在普遍得多,也精密得多,我们依赖的企业和公共服务都面临真实风险,从医院到水处理厂,再到支撑互联网运转的基础设施。到 8 月 28 日,官网名单上是 128 个签署主体。媒体首发那天写的是 116 家,CNBC 的标题直接用了这个数。页面没有时间戳,也没有版本记录,两个数为什么对不上,从页面上查不出来。刚刚,Anthropic向全人类发出警告:停止研究AI! 周二,一位顶尖人工智能(AI)研究员从Anthropic公司辞职,并指责该公司及其主要竞争对手OpenAI的行为不负责任,这在社交媒体上引发了人们对AI技术快速发展的担忧。 曾先后在这两家公司担任研究员的Jacob Coxon,辞职后在X网站上发帖称,他辞职是因为担心Anthropic和OpenAI是在“拿我们的生命做赌注”。他说,开发人工智能的人“真心相信,到本十年末(2030年),人工智能可能会毁灭我们所有人”。 “不要低估这项技术的力量,”他写道:“这些很快就会成为超人般的系统,它们可以入侵任何系统,一夜之间彻底改变任何领域,并获得真正的权力和资源。” Coxon的帖子浏览量超过7000万次,并引起了业内研究人员的共鸣。他们担忧递归式自我改进(RSI),即AI系统能够在无人干预的情况下设计和开发其后续版本。尽管RSI目前尚未实现,但包括Anthropic和OpenAI在内的多家公司警告称,这将使人类更容易失去对这些系统的控制。 Coxon写道:“两家公司都没有采取负责任的行动。它们正竞相研发自我提升的超级智能。” Anthropic对齐科学负责人Evan Hubinger后来也在X上发表的一篇文章中响应了Coxon的可怕预警。他表示,目前AI模型本身的风险较低,真正担忧的是通过递归自我改进产生超级智能。 “Coxon说得对——我们确实真心相信人工智能可能会毁灭所有人类!我个人认为,未来十年内,这种情况发生的概率会超过10%。”Hubinger写道,“我相信人智公司正在尽最大努力,但我们目前还没有解决超级智能协同问题的方案,而且显然也没有走上正轨。” 尽管这种担忧有些极端,但人工智能可能导致人类灭绝或其他灾难性事件的担忧在该研究领域并非新鲜事。 例如,2023年,包括OpenAI首席执行官Sam Altman和Anthropic首席执行官Dario Amodei在内的多位知名人工智能研究人员和高管签署了一份声明,指出“降低人工智能导致人类灭绝的风险应该与应对其他社会规模的风险(例如流行病和核战争)一样,成为全球优先事项。” 一些专家甚至使用简写p(doom)来估计人工智能可能带来的严重后果的概率。p(doom)指的是“AI导致人类灭绝或文明崩溃的概率”,是硅谷AI圈流行的风险估算值,没有官方标准,完全靠个人主观判断。这个数字没有统一算法,仅代表个人对AI风险的焦虑程度。 Anthropic首席执行官Dario Amodei:10%–25% 图灵奖得主 Geoffrey Hinton:10%–20%(也曾说过 40%) OpenAI前临时首席执行官Emmett Shear:5%–50% MIT教授Max Tegmark:超过 90% AI可能毁灭人类?专家接连警告
为什么受到关注?
该关键词近期出现在知乎热榜,历史最高排名第 28 位。热榜排名只能反映平台内一段时间的关注程度,不等同于事件重要程度或事实结论。
已确认的信息
- 来源平台:知乎
- 首次收录:2026-10-02 02:03:51 UTC
- 最近更新:2026-10-02 04:19:04 UTC
- 最近热度:58 万热度
榜单趋势
最近 10 次榜单快照的排名走势(排名越低越靠前),每格为一次采集记录。