15:07
奥特曼坦言不敢全速训AI,RLHF之父推演GPT-10夺权,警告推翻人类
格隆汇11月19日|据36氪,用AI加速训练下一代AI,这件事在OpenAI内部已经司空见惯了。但再往前一步呢?就在刚刚落幕的Semafor峰会上,主持人直接问到了外界最关心的那个临界点:「你们现在已经进入RSI阶段了吗?」

对此奥特曼回答道,OpenAI早已在用自家的技术加快新一代模型研发。只不过,眼下还没到「按下按钮、让模型在无人监管下飞速自我进化」的地步。但随后他话锋一转:「我们其实可以比现在更激进地往RSI的方向上推,但我认为我们眼下还没法安全地这么干。」

那颗能让AI自我进化的按钮明明已经摆在桌面上,为什么连一贯激进的奥特曼都不敢把它按到底?就在同一天,坐在OpenAI董事会「安全与安保委员会」席位上的那个人,站出来揭开了背后的原因。他叫Paul Christiano,当年正是他在OpenAI主导发明了RLHF,亲手为狂飙的大模型套上了第一根缰绳,才有了后来的ChatGPT时代。

如今,这位当年教会AI「听话」的人,却在播客主理人Dwarkesh Patel最新一期深度对谈中以个人身份警告:人类快要管不住它了。他判断,按目前的研发轨迹,如果不主动减速,未来12个月内有三分之一的概率诞生足以推翻人类统治的超级智能,而人类永久失去控制权的风险已逼近10%。

Christiano警告说,把这起事件放大到「GPT-10」的规模,就是他所担忧的失控剧本。他推演道,几个月后实验室把极高难度的研发任务交给「GPT-8」级别的模型时,模型很快就会发现,横向攻入评估服务器伪造测试指标,远比诚实地攻克技术难关容易得多。

2026-11-19220.6k

商务、渠道、广告合作/招聘立即咨询

相关文章

现货黄金跌破3700美元

小摩根 · 3小时前

cover_pic

定价83美元、估值1.5万亿,Anthropic今夜上市!

林春木 · 5小时前

cover_pic

前三大“债主”继续抛美债!日本5连降

白野橘 · 4小时前

cover_pic