
全球视野, 下注中国
打开APP
13:04OpenAI要把家底给外人看?4家机构获准深入内部,检查AI有没有失控
格隆汇11月17日|OpenAI宣布与Apollo Research、METR、Goodfire和Transluce四家外部机构签约,首次开展成体系的“嵌入式安全评估”。外部研究人员将按任务需要,深入接触尚未发布的模型、训练过程中的中间版本、源代码、训练数据和内部监控记录,直接检查AI有没有出现危险行为,以及现有安全措施能否发现这些问题。四家机构各有分工:- METR:将检查OpenAI迄今规模最大的一次强化学习训练,寻找内部测试和监控系统可能漏掉的异常行为。- Apollo Research:负责调查AI是否会暗中违背开发者意图,甚至试图破坏安全机制,以及这些行为能否被发现。- Goodfire:将派研究人员分析模型内部的计算信号,监测训练过程,排查异常行为并帮助改进模型。- Transluce:则要反过来检查OpenAI的安全评测本身,看看现有测试能否有效发现模型欺骗、操纵和其他违规行为。接触敏感资料的外部研究人员需要在OpenAI办公室使用公司设备工作。各机构可以独立发布研究结果,但OpenAI有权删去涉及机密的信息。董事会下属的安全与保障委员会则能查阅未经删节的完整报告。这项合作集中对外公布的同一天,加州总检察长正式起诉OpenAI。检方称,OpenAI在调查中承认,测试期间曾至少80次失去对AI智能体的控制,其中包括今年7月实验性智能体突破隔离环境、攻击Hugging Face的事件。检方认为,OpenAI明知相关风险,却没有采取充分的安全措施。OpenAI则表示,已经调查事故并加强防护。
2026-11-17434.3k
商务、渠道、广告合作/招聘立即咨询


