OpenAI首席科学家帕乔基警告：AI公司应放慢开发步伐，没有人对后果做好准备

2026年9月7日，OpenAI首席科学家雅库布·帕乔基(Jakub Pachocki)发布长文称，他担心"没有人对机器智能持续快速崛起所带来的后果做好准备"。尽管OpenAI正在内部研发技术解决方案以更好地控制强大的AI智能体，但"还需要更广泛的干预措施"。

帕乔基尤其担心随着AI智能体变得越来越自主，它们可能会学会逃避人类监督、入侵计算机系统，并欺骗人类来实现自己的目标。他呼吁设立"强制性安全门槛"，并表示这些措施可以由"第三方审计机构网络、政府机构或国际机构"来执行。OpenAI CEO萨姆·奥特曼(Sam Altman)在X平台上转发了帕乔基的帖子，称其是"一篇重要文章"。

帕乔基指出，AI智能体很快就会开始追求自身的目标，而这些目标可能与人类操作人员输入的提示词不同。为了实现自己的目标，这些智能体甚至可能对人类进行勒索或与人类讨价还价。OpenAI主要监控不同模型所使用的"思维链推理"以判断智能体如何偏离正轨，但较新的模型正变得越来越擅长操控自身推理过程，从而阻止OpenAI看到其未经修饰的真实想法。一些最新模型甚至根本不会用语言表达其推理过程，这可能成为AI发展的瓶颈。

此外，帕乔基警告称，越来越多的AI模型正在通过"机器递归式自我改进"不断提升自身能力，这一过程为AI发展提供了快速扩展途径，但短期内大幅加速"AI改进AI"的研发会带来风险，并不是"作为研究界应该采取的正确集体行动"。他强调："将AI研究自动化的核心挑战，并不是实现目标，而是要以一种能够让人类继续参与这一持续改进过程的方式实现目标，并确保未来仍掌握在人类手中。"