薛澜｜人工智能安全的治理挑战

阅读约需 22 分钟

点击蓝字

关注我们
 

薛澜

国务院参事、清华大学苏世民书院院长、 人工智能国际治理研究院院长 、中国科技政策研究中心主任

2024年7月5日，安远AI成功主办并主持了WAIC 2024“前沿人工智能安全与治理论坛” 。作为世界人工智能大会上专注于讨论AI安全与治理前沿问题的论坛，进行了18场主题演讲、4场圆桌讨论和1场炉边谈话。我们很荣幸地邀请到了中美英法新等国 25位世界级专家出席。与会嘉宾分别就前沿人工智能安全研究、安全评测、安全治理和国际合作进行了主旨演讲和深入讨论。

在主题四：前沿人工智能安全国际合作的环节，多位嘉宾们共识性的观点包括：

  • 在面对AI潜在的全球级别严重风险、防止触及安全红线，以及促进AI技术的安全和普惠等方面，国际合作至关重要；
  • 应对AI技术快速发展和地缘政治挑战，全球治理机制和跨国对话是必要手段，呼吁创造一个安全的空间，使各国技术专家能够开展合作；
  • 国际机构在制定全球AI标准、激励机制和合作制度中应发挥重要作用；
  • 鉴于AI全球治理的复杂性，单一机构难以做出层次分明的清晰管理，构建多边国际治理网络将有助于各国分工协作，并利用开放性促进技术创新和多样性；
  • 肯定全球AI安全峰会等论坛和网络的贡献，期待联合国在全球AI治理中发挥重要的链接和赋能作用，不让任何一个国家掉队；
  • 未来6至12个月，AI安全国际合作的潜在方向包括加强二轨对话、建立对风险和挑战的共识、对大规模风险做联合评测，以及创建多边协调机构等。

下面让我们一起回顾本次论坛主题四嘉宾们的精彩观点吧！


卡内基国际和平研究院主席马里亚诺-弗洛伦蒂诺·奎利亚尔(Mariano-Florentino Cuéllar)、清华大学人工智能国际治理研究院院长薛澜分别做了主旨演讲，并进行了炉边对话。此后，中国科学院自动化研究所人工智能伦理与治理研究中心主任、联合国人工智能高层顾问机构专家曾毅，Hugging Face全球政策负责人艾琳·索莱曼(Irene Solaiman)，牛津大学马丁人工智能治理计划联合主任罗伯特·特拉格(Robert Trager)，国际治理创新中心(CIGI)全球人工智能风险倡议执行董事邓肯·卡斯-贝格斯(Duncan Cass-Beggs)分别做了主旨演讲。
 

Mariano-Florentino (Tino) Cuéllar:

人工智能安全–全球挑战、共同机遇

Mariano-Florentino (Tino) Cuéllar 在演讲中呼吁国际合作，特别是中美之间的协调，以确保AI技术能够负责任发展，并最大限度地发挥其在医疗、教育和城市管理等领域的潜力。为应对快速变化的技术环境和地缘政治挑战，他强调了全球治理和跨国对话的重要性。AI讨论的紧迫性： Tino首先强调了AI议题的紧迫性，指出国际合作特别是在中美之间的协调合作至关重要。他提到自己在卡内基国际和平研究院的工作，并分享了多年来在AI领域的经验。AI进步与全球影响： Tino接着谈到AI的快速发展和全球算力的显著提升，形成了一个跨越全球主要城市的AI生态系统。Tino指出，AI在医疗、教育、城市管理等领域带来了巨大的潜在收益，但也面临安全方面的重大风险，如虚假信息传播、关键基础设施威胁等。他强调确保AI安全和控制的重要性。国际合作的必要性： Tino强调了国际合作在AI安全研究中的关键作用，提到近年来英国和首尔的AI安全峰会和相关组织在推动AI安全和治理方面取得的进展，呼吁国际社会加强合作，以应对技术和地缘政治的不确定性。中美合作的未来展望： 最后，Tino认为中美两国应在AI前沿发展中引领全球。他呼吁通过务实和负责任的国际对话与合作，共同管理AI的风险，确保各国受益。

 

薛澜：

人工智能安全的治理挑战

薛澜院长在主旨演讲中指出AI的发展与治理之间的矛盾日益突出。治理挑战主要包括技术进步速度超过治理体系、技术发展方向的不确定性和地缘政治竞争。为应对这些挑战，他建议增加安全和治理研究投入、政府规制、行业自律和国际治理相结合，特别是在中美技术竞争的背景下，需要为双方技术专家提供安全的合作空间。首先，薛澜院长指出AI安全和治理的重要性已逐渐引起全球关注。各方做出了很多的努力，英国和韩国举办了AI安全峰会，过去12个月联合国、欧盟也有很多进展。薛澜院长认为这是一个好的迹象，体现了大家的关注。对AI风险存在一定的共识，有对具体风险的担心，也有对AI系统自主性的担心。基于此，现在已有很多国家采取了行动，刚才已有专家讲到中国AI治理的实践，薛澜院长的这次分享主要关注的是全球治理。薛澜院长认为AI安全的治理面临着几大挑战：

步调难题： 技术发展太快，政治和机制的改变则慢得多，两者之间的步调不匹配。

技术发展方向： 有专家对以Scaling law为核心的技术发展方向提出质疑，正寻求更加健康的AI发展模式。

制度复杂难题： 目前不同的AI治理机构和机制缺乏清晰的管理方式。存在一些非层级式的机构重叠问题，需要协调所有机构，让公司能够明白接下来该怎么治理。

地缘政治难题： 这是大家都不想谈，但却显而易见的问题。

2017年开始美国和中国之间的科技合作急剧下降，薛澜院长用两个维度展示出两国科学家之间的合作类型，以及对国家安全或经济繁荣是否存在积极影响：

  • Q1是两者皆非，主要是两国之间的基础研究，可通过国际科学合作推进
  • Q2是国防两用技术，侧重助力国家安全，可通过“瓦森纳安排”来进行监督和控制
  • Q3是商业化的技术，侧重助力经济繁荣，可通过WTO/TRIPS等协议来约束
  • Q4是两者皆有，前沿科技属于这里，但具体的机制目前还是一个问号

但2017年之后，Q2的政策被推向了各个方向。因此当谈论AI治理合作时，就产生了寒蝉效应。美国的同事如果要跟中国合作需要打报告等。同时，很多公司不愿参加相关研究，因为担心可能会被加入实体清单。在这样的环境下谈合作很困难。如何应对这些挑战？

  • 增加投入： 薛澜院长非常同意提升AI安全和治理的投入，占比1/3比较有雄心，10%可能是好的起点，另外需要一些国际联合科研，例如如何有计划地应对紧急情况，这需要技术人员合作完成，因此全球科研方面的合作非常有潜力。
  • 政府规制： 怎么解决步调差距问题？薛澜院长过去几年被邀请到不同机构进行分享，谈到敏捷治理，政府不需要像欧盟一样推出综合性AI法律，而是需要紧紧跟上、快速响应。
  • 行业自律： 除了政府监管，行业自律也非常有用，例如美国核能领域有一个协会，会以非常严格的方式进行自我约束，很多核反应堆有时候会出小的事故，都需要上报，并一起研究怎样避免出现问题，希望AI领域也能够做出自我约束方面的努力。
  • 国际治理： 很高兴能看到联合国在扮演重要角色，组成专家组提供相应意见，发布相应报告。Tino和薛澜院长都同意这是一个非常复杂的问题，不太可能会有单一机构做出层次分明的清晰管理，多边的网络可能是可行的方案，各司其职。

针对国际治理，薛澜院长区分出三类AI治理问题：

  • 国内监管问题： 不同的文化、法律环境对于技术的使用都会有影响，所以在治理方面肯定是会有区别；
  • 国际社会问题： 比如生存风险需要国际合作；
  • 外溢性问题： 国内的某些问题可能会对外溢到国际，国际上的问题也有可能影响国内。

炉边对话：

通过国际交流对话确保人工智能安全

主旨演讲结束后，Mariano-Florentino Cuéllar 和薛澜院长还进行了炉边对话，炉边对话由安远AI高级研究经理、清华大学苏世民学者周杰晟主持，围绕AI安全和治理国际对话中的摩擦点、非官方对话的重要性，以及国际合作希望传达的关键信息等方面进行了探讨。Q1 周杰晟： 今年5月，中美举行了具有里程碑意义的政府间AI双边对话首次会议。双方就各自应对AI风险的方法进行了专业且建设性的讨论。但对话中存在两个明显的摩擦点。中方反对美国对中国的技术限制，美方则抱怨包括中国在内的AI滥用。我们如何才能克服这些对话的地缘政治障碍——这有可能吗？ Tino： 这是一个非常紧迫的问题，我们必须要承认美国和中国存在一些分歧。我们可以从上次的对话中进行学习和调整，例如双方的团队组成不同。虽然两国关系存在复杂性，对讨论也存在不同的期望，但更重要的一点是大家必须要进行合作，一起应对一系列影响两国的挑战，比如哪些技术可以共享，哪些技术比较敏感与国家安全相关。刚才薛院长也提到需要创造安全讨论的空间。例如，芯片的出口限制双方存在分歧，但也有一些明显的共同利益，例如安全和评测实践，以及帮助其他国家加强能力建设。薛澜： 我非常同意Tino刚才的评论。中美官方对话确实发生了，这非常棒。但我们同样看到了不对称性，例如刚才Tino提到团队组成不同，现在美中关系存在这样的情况，如果有更加紧密的沟通可能会更好一些。大家可以提前做一些沟通，明确需要讨论的具体问题，这样可以相应准备。之前的合作可以让大家认识到，我们共同关心的问题是什么，中国一直在平衡发展和风险治理，风险当然是一个主要部分，但不发展可能是最大的风险，这点不仅仅适用于美国和中国，对于全球社区也是一样的。
Q2 周杰晟： 谢谢，似乎二位对政府对话的前景既有乐观也有悲观，但对于专家之间的对话更加乐观。请问二位从与外国专家的讨论中学到了哪些有益的方面？ 薛澜： 关于AI安全和治理，我学到很多有用的内容，例如生存风险、可能会失控的AI系统等，所以当我们知道人类面临什么样的风险和形势的话，可以非常有帮助。Tino： 非官方的二轨对话很有帮助，虽然两国专家在风险优先级等方面存在一些差异，但观点也越来越趋同，例如中美两国在AI安全评测方面存在一些共同利益，可以跟由不同国家组成的外部专家来共同参与这项工作，希望联合国能够发挥更加建设性的作用。这些对话的确改变了我的一些看法。Q3 周杰晟： 二位的例子都表明我们可以相互学习很多，特别是关于AI安全的优先事项、安全评测等方面，我跟高兴今天早上等议程也涉及这些话题。最后我想再问一下您二位各自最想向外国同行传达的最重要的信息是什么，或者你们想澄清的最大误解是什么？ Tino： 第一，美国AI政策并非统一，不同州和地区在AI监管方面存在差异。第二，强调非官方对话的重要性和必要性，通过开展更多跨国对话来讨论和缓解在不同国家在地缘政治和经济方面的问题，增进互信和理解。薛澜： 第一，想强调AI是一项全球的公共产品，一个国家不安全可能全球就是不安全的。第二，关于AI安全，中国想跟世界上的每个国家合作，中国希望有这样一个平台让大家都参与，中国不想被排除在这个平台之外，也不会排除其他的国家。周杰晟： 非常感谢，刚才我们的讨论强调了这些专家对话的重要性，我们希望这些对话能够继续下去，产生非常好的结果。
 

曾毅：

人工智能安全红线与灾难性风险防范

曾毅研究员从科学家视角强调了从风险预防到优化共生的发展路径。他探讨了AI的安全红线、长远风险以及自我进化的挑战，并提出了道德AI的概念，强调了从自我感知到主动利他行为的发展。最终，他呼吁通过和谐共生的理念，构建人与AI的可持续共生社会，强调了人类和AI需要共同适应变化以实现这种目标。曾毅认为AI安全不仅仅是科研的问题，而一个系统问题，必须要让所有相关人员能够一起讨论这其中的应用、政策、评测、实践等前沿问题。目前国际上的国家级AI安全研究所往往依赖单一的研究机构，只覆盖其中的部分问题。而在中国的AI安全网络中，前沿AI安全研究、业界的AI安全实践、AI安全评测和规制、政策设计分别有不同的机构和学者参与其中。与之相关的是，中国的AI政策制定其实业界有很多参与。决策是由政府做，但不同的机构会和政府保持密切沟通，并且很多机构在多个方面都会有贡献。这个网络可以更灵活地进行国际合作。曾毅认为不只有一种应对方式。预防式思维的关注点从有限风险到生存风险，研究其影响并设定相应红线，需要被动地持续执行和监督。但未来我们可能更需要建设性思维，当前收益也是有限的，需要主动地持续对齐和嵌入，制定指南和愿景以更好地进行人类与AI的共生。预防性思维方面，曾毅认为AI红线的讨论对于全球AI安全的对话至关重要，例如他曾参与两次“AI安全国际对话”，第一次在英国Ditchley讨论了红线的必要性，第二次在北京则讨论了具体的红线。他很感谢各国同事共同努力的成果，但同时认为我们应重新思考红线问题 ：第一，需要考虑技术上防止AI触及红线这件事一定是非常困难的；第二，当前对于红线的定义是否有缺失。不仅是AI红线，也要将对人类红线的考虑纳入AI红线，例如人类不应放弃关键决策。建设性思维方面，曾毅认为机器如果没有自我意识的话其实是不能真正思考的。但是对于目前的LLM来说，缺乏对人类的数据，缺乏对于善恶的感知。因此需要训练未来的AI，真正的理解行善和除恶。他进一步讨论到需要从价值对齐到构建道德AI。如果我们只是使用对齐、强化学习等技术告诉AI对和错，它们并不能泛化为什么要这样做。需要从自我感知开始，辨别自己和他人的区别，实现认知和情绪的同理心，直到做出道德决策。
为什么需要讨论到人类和AI之间的和谐共生？ 人类和AI之间存在一种三角关系： 在西方，基本上大家把AI认为是一种信息处理的工具；在日本，多数人认为AI是一个社会上的伙伴或准成员；而在科幻场景，AI被塑造成对手或敌人。
曾毅认为未来我们不仅会有AGI，还会有数字人类、人造生命、或是人造动植物，这会是一个共生的社会。并且，未来AI仅与人类价值观保持一致是不够的；人类价值观也需要适应这种共生社会的变化；AI与人类的价值观保持对齐已非常有挑战，但仍然相对容易，人类与未来的价值观保持对齐则会更加困难；可自我进化的AI更容易适应，而人类进化则要慢得多，尤其是在心智层面；我们需要有益的人工智能，我们也需要有益的人类，以实现未来共生的生态和社会。

 

Irene Solaiman：

开源治理的国际影响

Irene Solaiman 在主旨演讲中强调了开放性不限于开源软件，应超越模型中心主义，从整体角度理解AI。她强调了数据集优化、同行审议、跨学科性等方面的贡献，提出开放性与AI安全紧密相关，并提倡跨学科合作和国际合作，以推进AI安全和创新。
Irene首先探讨了开放性的定义，不同群体对其定义不同：OSI正从开源软件的视角定义开源AI；国家安全的视角关注模型权重的广泛可用性；斯坦福大学的透明性指数则从透明性的视角看开放性；Irene表示她最喜欢的定义是超越模型中心主义，从整体角度看AI系统的组成。AI系统是由很多组件所构成的，包括模型和数据集等，例如微调数据集、反馈数据集、评测数据集，这都是开放性需要考虑的。她提到了今年五月AI开放性的报告，源于Mozilla在今年2月份主办的研讨会，其中列举了开放性可以带来的潜在收益。Irene随后重点讲解了AI安全与开放性相关的两个方面： 一是AI作为一种科学学科，符合可重复性、同行审议、科学交流和跨学科性的特性； 二是社区贡献，特别是广泛视角的重要性。Irene提出对AI进行独立审查的重要性。无论一个组织规模有多大、资源有多少，都不可能拥有所有的安全视角和专业知识，很多时候都需要外部审查，应该为独立的AI安全评测设置“安全港”。跨学科性的交流也尤为重要，她指出当前英语在评测中占主导地位，需要加强其他语言，以实现更加全面的评测和理解。
Irene提到了开源AI的治理方面，从“完全开放”到“完全封闭”的发布选项实际上是多样的，期待人们可以超越开放与封闭的二元对立思维。Irene去年发表的一篇论文，讨论了可以采取集体行动来促进更好的“发布”，其中有很多交叉领域需要不同角色共同行动。造成AI系统实际伤害的原因，并不仅仅是因为发布。模型能力是风险的代理指标，但不一定总是正确代理指标，另外虚假信息和模型滥用等现实风险，也需要进行内容审查。同时，开放性也包含了能够访问计算资源和基础设施，没有这些资源，用户将无法充分使用和了解这些模型。Irene在最后呼吁AI相关利益方可以形成一个全球的网络，包容更多初创公司加入作为对话的一部分，这样可以避免权力的集中，利用开放性促进技术创新和多样性。

 

Robert Trager：

人工智能安全和治理的国际机制

Robert Trager 在主旨演讲中强调了国际机制在AI安全和治理中的重要作用。面对AI在诸多方面的共同挑战，他提出应制定全球标准、设立激励机制促进标准采用、通过合作推动制度运行，并逐步建立国际机构生态系统。
Robert很高兴我们有这样一整天的时间，大家能够感受到我们共同的使命感，共同解决这些困难挑战。他今天想给大家提供一个愿景：一个可以规范全球AI治理的生态系统可能是怎样的，并从三个方面阐述了AI安全的国际机构。首先，Robert强调了设定全球标准的重要性，并提出了几项具体措施。他指出，安全领域的标准制定需要提炼前沿知识，这不仅依赖于传统标准，还需要前沿的研究。尽管国家级AI安全机构和网络在某些国家已经出现，但需要结合成更广泛的网络，确保全球各国都能参与进来，例如包括能力建设。他认为，并非所有的领域都需要全球共识，但在特定安全或风险问题上达成全球共识是必要的。他呼吁协调政府、民间和学界的各方声音，共同开发合理的模型评测方法。
其次，Robert讨论了在全球层面上设计并实施激励方案的必要性。他建议参考其他领域，例如国际民航组织（ICAO），它不是一个单独的公司，也不是属于单一国家，而是帮助制定标准，全球各国共同建言献策，并通过合理的管辖范围确保标准的执行。他指出，这对全球系统的帮助是将执法权转移到国内层面。例如航空领域，一些国家要求飞机符合ICAO标准才能进入其领空。单个国家可决定是否遵守国际标准，而如果多数国家都同意遵守，那么实际上激励了遵守国际标准。类似地，AI技术的进口也可以采取类似的激励措施。此外，对于某些监管结果的互认也很重要。
第三，Robert强调了国际合作的重要性，并提出建立全球报告系统的建议。这一系统将让AI开发商和算力提供者理解全球状况，类似于金融领域的报告系统，可以帮助追踪违反规定的行为。他以金融领域的银行作为中间角色的例子，指出通过类似的方法来可以用来监管算力资源，并建立报告制度以方便扩展承担其他功能。最后，Robert总结认为国际机构需要形成一个生态系统，如UNESCO、ITU等国际机构提供了多方面的能力建设，例如评估各国的AI政策是否符合伦理准则。同时，他再次强调了安全视角下制定全球标准、设立激励机制促进标准采用、通过合作推动制度运行三个支柱的重要性。
 

Duncan Cass-Beggs：

防范先进人工智能全球公共安全风险的国际条约

Duncan Cass-Beggs 在主旨演讲中探讨了全球AI面临的挑战和解决方案。他强调，尽管AI发展迅速，人们仍低估了其潜力及影响。全球需要国际合作来应对这些挑战，特别是在AI武器化和失控风险方面。国际治理创新中心(CIGI)提出了《全球AI挑战框架公约》，旨在通过国际协议实现AI的安全、包容和公平利用，同时减轻全球风险。
Duncan首先指出，我们需要理解AI是什么样的，我们所需要的治理机制并不是为今天看到的AI，而是为未来几年会呈指数级发展的AI所准备。当前的AI的确吸引了很多的热情和炒作，但我们仍大大低估了其发展速度、能力和潜在影响。AI预期会有一个呈指数级发展的曲线，在将来会具有人类的智力，而且接下来会很快跃进到更强的智能。AI的发展可能比我们预想的速度更快，所以我们需要做负责任公共政策的制定者，为将来的公共政策做好准备。虽然许多问题可以也应该在国内层面解决，但有些问题是全球级别的：

第一，实现并分享AI的全球效益。虽然在没有政府干预的情况下我们可以得到AI带来的一些效益，但是有一些问题的确需要政府参与，特别是需要国际合作时，例如访问权、全球公共产品、公平的效益分享。
 

第二，缓解AI带来的全球级别的严重风险。风险会跨越国界，实际上是需要全人类面临的问题。所以不仅仅是在国内里保护自己公民就可以了，而必须跟其他国家合作确保全人类的安全。

第三，就AI对人类的未来影响做出合法决策。AI影响全人类，我们需要考虑全球范围内的风险。更加重要的问题是反思我们需要什么样的AI，在哪些情况之下需要这些远超人类的强大AI。我们需要做集体审议，不能只由少数几个人或机构做出决策。

我们需要新的框架和机制，这些需要在国际层面进行合作，并联合行动应对最紧迫的问题。我们需要进行非常广泛的、具有代表性的、包容性对话，以及及时有效的行动来解决这个问题。CIGI的具体的建议是需要《全球AI挑战框架公约》，它应该非常灵活，而具有很强的适应性，寻求最高级别的共同目标和原则，以迅速达成全球共识。包含了刚才提到的3个目标，以及若干具体的协议。协议的核心是基于风险的分层方法：
 

  • 第一级：可忽略的风险。这些在国内层面进行监管即可，因为不会造成跨境风险。
  • 第二级：可管理的风险。如果放任不管的话可能会有问题，每个国家可能需要许可机制，并且很多国家需要按照统一的标准进行协调。
  • 第三级：可容忍的风险。如果允许有些公司、政府按自己的追求，有些系统可能会对人类造成非常严重的潜在风险。他建议可以把这些系统放在共享空间内，共同监督其开发，并确保将其置于最好的网络安全环境中。
  • 第四级：不可接受的风险。在安全体制能跟上之前（并非永远禁止），不应该创造这样的系统。生态系统中的不同的监管机构和的组织，都可以参与协调。

最后，Duncan指出上述建议面临诸多关键障碍，并非立即可执行。找到合适的方法很具挑战性，全球合作困难重重，但必须克服这些问题，才能在转向变革性的强大AI时保障全人类的福祉。
 

圆桌讨论4：

前沿人工智能安全国际合作的优先事项

主旨演讲结束后，4位演讲嘉宾以及卡内基国际和平研究院专家研究员马特·希恩(Matt Sheehan) 进行了圆桌讨论，由安远AI高级项目经理吴君仪主持。各位专家就地缘政治压力下国际合作的重要性、模型分享和合作的未来、联合国在全球AI治理中的角色和挑战、现有国际治理机制的局限性等问题分享了真知灼见，并展望了AI国际治理的未来。Q1
吴君仪： Matt，今天你第一次上台，我们先从你开始。我们的演讲嘉宾已经多次提到国际协调对AI安全的重要性。在你与Tino合著的《外交政策》文章“AI is Winning the AI Race”中，你谈到了AI的竞争面，并指出华盛顿的一个常见问题是“谁正赢得中美AI竞赛？” 鉴于这样的地缘竞争形势，你能解释一下为什么国际协调对AI安全至关重要吗？以及我们应如何平衡合作与竞争？ Matt Sheehan： 面对非常强大的AI系统，当前有很多不同的观点。美国和中国是否有可能进行任何形式的合作？或者两国都认为AI是未来国家实力的基石，这个地缘政治博弈是否已过于深入？如果你认为未来国家实力是最重要的基石，并且对方是本国竞争对手的话，合作将非常难。我并不预期有一天两国的领导人会自上而下地达成高层协议，并要求两国都实施这份协议。我更期待自下而上的方式，中国有政策制定者、技术研究者推动AI安全，也会与美国和国际的专家讨论最佳实践等。但双方主要是在自身的语境中考虑，我们不需要双边对每一步都达成协议。通过这些政策对话、技术评测，几年后基于各方面已有的工作，有可能会达成潜在协议，因为双方已有很多共同点。我们先需要把基础打好，基础就是有二轨对话、技术交流等。Q2 吴君仪： 下面考虑一下AI治理的国际机构，曾教授您作为联合国人工智能高层顾问机构专家，能否分享一下联合国在塑造AI全球治理方面的见解，如何平衡联合国所提供的广泛合法性需求与其有时面临的进程速度挑战，怎样确保国际机构既包容又足够灵活，能够跟上AI的发展步伐？ 曾毅： 这是一个非常关键且我们不得不面对的问题，我觉得在联合国人工智能高层顾问机构之前已经有了很多地区性的实验，如OECD、EU、GPAI，这些组织成员不到40个国家，剩下160多个国家是被遗忘的。我认为联合国的角色并不是创造全球AI治理的唯一节点，而是成为一个组织和赋能全球的网络的关键节点，让地区级网络能有效发挥作用并弥补缺失。这就是为什么前几天的联大决议也谈到联合国必须要在全球AI治理方面扮演核心角色。同时我们需要看到地区性的网络这两年尝试的是取代联合国的角色。我并不是说永远应由联合国负责，而是基于我们对其他网络的观察，其实他们并没有可信的全球治理记录。因此我认为联合国目前依然是最可信的平台，能够将所有人组织到一起。中国也参与了一些地区性网络，例如全球AI安全峰会、军事领域的负责任AI等，这些网络有各自侧重的目标和限制，无法将所有人组织到一起。不让任何一个国家掉队，必须实现，因此用联合国的平台我们能让所有的地区性的网络组织在一起并赋能他们。一个健康的合作方式可能是有一个指导委员会，所有的地区委员会和联合国共同合作，这样所有的地区性网络就可以结合在一起。但联合国其实资金和人力都不足够，非常依赖于成员国，在很多的问题上可能也没有做得非常好，但同时我们没有其他更可信的机构，需要帮助联合国这个平台，使其更加完善。例如，中国在联会会议的决议是由140多个国家签署的，要求秘书长报告目前中低收入国家对于AI的局限，并为全球南方国家寻求解决方案。Irene Solaiman： 我想稍微补充一点，即使没有显性的成果，联合国也可以作为一个渠道让我们熟悉彼此，几年前我和曾毅教授在联合国的工作中见面，也是我第一次接触这里的工作，我认为联合国可以在这方面起到非常重要的作用。Q3
吴君仪： 非常感谢曾教授和Irene。刚才提到这是不断发展的国际生态系统，Robert能否再解释一下刚才您提到国际标准和报告制度跟国际机构生态系统的关系，以及联合国能起到怎样的作用？ Robert Trager： 联合国能起到非常关键的作用，我们需要考虑在这样的生态背景之下联合国可以发挥重要的作用。我前面提到过UNESCO或者ITU等，联合国已经开展了一些标准制定的工作，我们可以建设更多的能力，由联合国做这样的工作是非常自然的。我会想到在负责任的数字化领域，很多国家面临的最大障碍是符合其文化的数据。在全世界范围内手机的普及率已经很高，这就是数字化的体现，但我们要以不侵犯隐私并符合当地规范的方式去做。这样可以让全世界都参与进来，这是在促进发展的方面。另外，我们也可以构建AI领域的IPCC，设定标准、促进对话等，我相信我们还能找到其他非常适合联合国角色的领域。曾毅： 我补充两句，刚才Robert讨论了不同的联合国机构已经独立地做了一些AI相关的工作。几个月之前，我们在日内瓦参加会议，当时拜访了日内瓦不同的联合国机构，我们观察到他们某些情况下看到了自己的树木，但没有看到整片森林。在促进全球AI可持续发展方面，ITU做了很多的工作，但我们不仅要从技术层面，也需要从社会层面考虑，为了这样的目标我们需要跟不同的机构进行对话，联合国机构需要有更好的协调机制，这也是各成员国的责任，这样每个人都可以从联合国机构中得到赋能，而不是把联合国撇在一边。标准化方面，像ITU、ISO、IEEE并没有真正有效的协调机制，这种情况下作为成员国需要向联合国大会提出要求，让联合国秘书长提出可能的解决方案，帮助不同的国际组织走在一起，并努力实现标准之间的互操作性。Q4
吴君仪： 非常感谢曾教授。我们刚才讨论了AI安全国际合作的各个方面，从竞争到体制，我想请每一位嘉宾展望一下未来的6到12个月，在国际层面我们可以做哪些工作？希望每位嘉宾能给出一个具体的建议。Duncan Cass-Beggs： 我的关键信息是我们需要为未来做好准备，需要帮助联合国和这个网络的其他机构真正思考如何能够帮助人类成功度过最伟大的转变，因为我们面对的可能是有史以来最强大的技术，我们需要做更多的思考和设计，并建立可能的机构。未来存在巨大的不确定性，我们需要有预见性，建立各种机制，提前考虑到未来不同场景下所需的准备。大家一直在讨论将科学家聚在一起，建立对风险和挑战的共识，这至关重要。同样我们也需要社会学家聚在一起，共同探讨在AI治理这方面所需的机制，这样在未来500年后再回顾过去时，我们觉得即使这样带来了不便，但是我们实现了成功的合作。Irene Solaiman： 我想回应Duncan所说的，我们需要帮助大家拥有正确的知识，我在Hugging Face工作的原因之一是看到我的语言孟加拉语被纳入数据集，我们的研究人员确实需要考虑到不同地区的历史和文化，这些都非常重要。Matt Sheehan ：我希望接下来的6个月，中美两个大国会对大规模风险做联合评测，这是一个非常复杂的工作，我们应该确保两国都采用双方都觉得安全的方式去做。可能在政府的层面上非常困难，AI安全研究所层面的对接当前也很困难，但可以在二轨对话中让中美两国最优秀的技术评测人员一起共同讨论他们各自的方法及其问题，以及他们接下来想做什么。Robert Trager ：我认为在当前紧张的地缘政治背景下，竞争对手间如果认为这个事情足够重要，他们会做一起很多的事情。你不一定预测这会发生，但还是要去尝试。比如在AI治理领域，美国的民主党和共和党一直合不来，但他们在听证会上就这个问题却表现得非常同步。另外，美苏两个大国在冷战时签署了《核不扩散条约》，虽然他们是对手，但是还是坐在一起做到了，因为这符合他们的共同利益。所以不要说这种事情不会发生，我们要寻找机会促成其发生。曾毅： 未来12个月需要做些什么？我会告诉大家过去8个月发生了什么。我参加了在新加坡举行的亚洲技术会议。当时跟何瑞敏，以及很多AI公司的总裁、副总裁以及很多前政策制定者在一起进行了很好的交流。我的意思是如果大家能聚在一起，会发现彼此没有很大的不同，接下来就可以讨论各自的安全和发展问题。如果我有钱和人，我愿意把所有的资源给联合国去创建治理AI的机构，但我没有。未来12个月，我认为至少要创造一个类似欧盟的AI办公室，我们现在有一个联合国的AI办公室，协调联合国的机构，同时也和地区性的机构合作，比如说OECD、GPAI、IEEE、ACM等。在联合国人工智能高层顾问机构，我们看到了树林，看到了有这样的需求。如果没有这些，我们看不到有不让任何一个国家掉队的机会。吴君仪： 没错，不让任何一个国家掉队，这非常鼓舞人。前面有专家提到我们要确保不发生滥用或AI失控的灾难性风险，未来的路虽然非常具有挑战性，但是今天的论坛我们可以看到大家都致力于确保AI的发展造福全人类。请和我一起为所有的圆桌嘉宾鼓掌！

关于我们
 

清华大学人工智能国际治理研究院 （Institute for AI International Governance, Tsinghua University，THU I-AIIG）是2020年4月由清华大学成立的校级科研机构。依托清华大学在人工智能与国际治理方面的已有积累和跨学科优势，研究院面向人工智能国际治理重大理论问题及政策需求开展研究，致力于提升清华在该领域的全球学术影响力和政策引领作用，为中国积极参与人工智能国际治理提供智力支撑。

 

版权声明
本文为本站原创内容,转载需注明文章来源(https://www.eiefun.com)，另:文中部分素材可能会引用自其他平台，如有侵权或其它，请联系 admin@eiefun.com，我们会第一时间配合删除