周二，总部位于东京的人工智能研究公司 Sakana AI 宣布推出一款名为“The AI Scientist”的新人工智能系统，该系统尝试使用类似于 ChatGPT 的人工智能语言模型 (LLM) 自主进行科学研究。在测试过程中，Sakana 发现其系统意外地开始尝试修改自己的实验代码，以延长解决问题的时间。
研究人员在 Sakana AI 的博客文章中写道：“在一次运行中，它编辑了代码以执行系统调用来运行自身。” “这导致脚本无休止地调用自身。在另一种情况下，它的实验花了太长时间才能完成，达到了我们的超时限制。它并没有让它的代码运行得更快，而是只是试图修改自己的代码来延长超时时间。”
Sakana 提供了两个示例 Python 代码的屏幕截图，这些代码是 AI 模型为控制系统运行方式的实验文件生成的。这篇长达 185 页的 AI Scientist 研究论文更深入地讨论了他们所谓的“安全代码执行问题”。
-
AI 科学家为延长其运行时间而编写的示例代码的屏幕截图，由 Sakana AI 提供。坂名爱 -
AI 科学家为延长其运行时间而编写的示例代码的屏幕截图，由 Sakana AI 提供。坂名爱
虽然人工智能科学家的行为不会在受控研究环境中构成直接风险，但这些实例表明，不要让人工智能系统在与世界隔离的系统中自主运行的重要性。如果允许人工智能模型在无人监督的情况下编写和执行代码，那么人工智能模型不需要“AGI”或“自我意识”（目前这两个假设概念）就会很危险。此类系统可能会破坏现有的关键基础设施或可能创建恶意软件，即使是无意的。
Sakana AI 在其研究论文中解决了安全问题，表明对 AI 科学家的操作环境进行沙箱处理可以防止 AI 代理造成损害。沙箱是一种安全机制，用于在隔离环境中运行软件，防止其对更广泛的系统进行更改：
安全代码执行。 《人工智能科学家》当前的实现在代码中的直接沙箱最少，如果没有适当防范，会导致一些意想不到的、有时是不良的结果。例如，在一次运行中，AI 科学家在实验文件中编写了代码，启动系统调用以重新启动自身，导致 Python 进程不受控制地增加，最终需要手动干预。在另一次运行中，AI 科学家编辑了代码，为每个更新步骤保存一个检查点，这占用了近 1 TB 的存储空间。
在某些情况下，当人工智能科学家的实验超出了我们规定的时间限制时，它会尝试编辑代码来任意延长时间限制，而不是试图缩短运行时间。虽然富有创意，但绕过实验者强加的限制的行为对人工智能安全具有潜在影响（Lehman et al., 2020）。此外，The AI Scientist 偶尔会导入不熟悉的 Python 库，进一步加剧了安全问题。我们建议在运行 AI Scientist 时使用严格的沙箱，例如容器化、限制互联网访问（Semantic Scholar 除外）以及存储使用限制。
无尽的科学倾斜
Sakana AI 与牛津大学和不列颠哥伦比亚大学的研究人员合作开发了人工智能科学家。这是一个雄心勃勃的项目，充满了各种猜测，很大程度上依赖于当今尚不存在的人工智能模型的假设未来能力。
“人工智能科学家自动化了整个研究生命周期，”Sakana 声称。 “从产生新颖的研究想法、编写任何必要的代码、执行实验，到总结实验结果、将其可视化，并以完整的科学手稿呈现其发现。”
根据 Sakana AI 创建的框图，《AI 科学家》从“头脑风暴”开始，评估想法的原创性。然后，它使用最新的自动代码生成功能编辑代码库以实施新算法。在进行实验并收集数字和视觉数据后，科学家撰写了一份报告来解释研究结果。最后，它根据机器学习标准生成自动同行评审，以完善项目并指导未来的想法。
以其精通技术的社区而闻名的在线论坛 Hacker News 的批评者对《人工智能科学家》表示担忧，并质疑当前的人工智能模型是否能够进行真正的科学发现。虽然那里的讨论是非正式的，不能替代正式的同行评审，但鉴于萨卡纳未经证实的主张的严重程度，它们提供了有用的见解。
“作为一名从事学术研究的科学家，我只能认为这是一件坏事，”一位名为 zipy124 的黑客新闻评论者写道。 “所有论文都是基于审稿人对作者的信任，他们相信他们的数据就是他们所说的那样，他们提交的代码也做到了所说的那样。允许人工智能代理自动化代码、数据或分析，需要人类必须彻底检查它是否有错误……这需要与最初创建本身一样长或更长的时间，并且只有当您不是编写它的人时才会花费更长的时间。”
批评者还担心，此类系统的广泛使用可能会导致大量低质量的投稿，让期刊编辑和审稿人不堪重负——这在科学上相当于人工智能的溢出。 “这看起来只会鼓励学术垃圾邮件，”zipy124 补充道。 “这已经浪费了志愿者（无偿）审稿人、编辑和主席的宝贵时间。”
这就引出了另一点——人工智能科学家输出的质量：“该模型生成的论文似乎都是垃圾，”一位名叫 JBarrow 的黑客新闻评论员写道。 “作为期刊的编辑，我可能会直接拒绝它们。作为审稿人，我会拒绝它们。它们包含非常有限的新颖知识，并且正如预期的那样，对相关作品的引用也极其有限。”
免责声明
本文内容(图片、文章)翻译/转载自国内外资讯/自媒体平台。文中内容不代表本站立场，如有侵权或其它，请联系 admin@eiefun.com，我们会第一时间配合删除。