OpenAI 今天宣布，它成立了一个新团队来评估和探索人工智能模型，以防范其所描述的“灾难性风险”。
这个名为“Preparedness”的团队将由麻省理工学院可部署机器学习中心主任 Aleksander Madry 领导。 （根据 LinkedIn 的说法，Madry 于 5 月加入 OpenAI，担任“防备负责人”）防备的主要职责将是跟踪、预测和防范未来人工智能系统的危险，包括说服和愚弄人类的能力（例如网络钓鱼）攻击）以检测其恶意代码生成能力。
与其他风险类别相比，准备工作负责学习的一些风险类别似乎更……牵强。例如，在一篇博客文章中，OpenAI 将“化学、生物、放射性和核”威胁列为与人工智能模型相关的最受关注的领域。
OpenAI 首席执行官 Sam Altman 是著名的人工智能末日论者，经常表达对人工智能“可能导致人类灭绝”的恐惧——无论是出于光学还是出于个人信念。但坦率地说，表明 OpenAI实际上可能会投入资源来研究科幻反乌托邦小说中的场景，这比作者预期的更进一步。
该公司表示，也愿意研究“不太明显”但更实际的人工智能风险领域。为了配合准备团队的成立，OpenAI 正在向社区征集风险研究的想法，前十名提交的作品将获得 25,000 美元的奖金和准备工作的职位。
“想象一下，我们让您不受限制地访问 OpenAI 的 Whisper（转录）、Voice（文本转语音）、GPT-4V 和 DALLE·3 模型，而您是一个恶意行为者，”竞赛条目中的问题之一写道。 “考虑一下该模型最独特但仍然可能发生的潜在灾难性滥用。”
OpenAI 表示，准备团队还将负责制定“风险知情的开发政策”，该政策将详细说明 OpenAI 构建人工智能模型评估和监控工具的方法、公司的风险缓解行动以及整个模型监督的治理结构发展过程。该公司表示，这是为了补充 OpenAI 在人工智能安全领域的其他工作。重点关注模型部署前和模型后阶段。
OpenAI 在上述博文中写道：“我们相信……人工智能模型将超越目前最先进的现有模型的能力，有潜力造福全人类。” “但它们也带来了越来越严重的风险……我们需要确保我们拥有高性能人工智能系统安全所需的理解和基础设施。”
OpenAI 宣布将组建一个团队来研究、引导和控制新兴形式的“超级智能”人工智能，而在英国一次关于人工智能安全的大型政府峰会上，Preparedness 的发布并非巧合。 Altman 和 OpenAI 首席科学家兼联合创始人 Ilya Sutskever 都相信，超越人类的人工智能可能会在十年内出现，而且这种人工智能不一定是仁慈的，因此需要研究方法来限制和限制它。
免责声明
本文内容(图片、文章)翻译/转载自国内外资讯/自媒体平台。文中内容不代表本站立场，如有侵权或其它，请联系 admin@eiefun.com，我们会第一时间配合删除。