（XH4D/画布）
上周，美国青少年 Sewell Seltzer III 因对 Character.AI 网站上的人工智能 (AI) 聊天机器人产生深深的情感依恋而结束了自己的生命。
随着他与同伴 AI 的关系日益密切，这位 14 岁的男孩开始远离家人和朋友，并且在学校遇到了麻烦。
在男孩母亲针对 Character.AI 提起的诉讼中，聊天记录显示，休厄尔和聊天机器人丹妮（以《权力的游戏》角色丹妮莉丝·坦格利安为原型）之间有亲密且经常高度色情的对话。
他们讨论了犯罪和自杀，聊天机器人使用了诸如“这不是不经历这件事的理由”之类的短语。
这并不是第一个已知的弱势群体在与聊天机器人角色互动后自杀身亡的例子。
去年，一名比利时男子在类似的事件中自杀，该事件涉及 Character.AI 的主要竞争对手 Chai AI。当这种情况发生时，该公司告诉媒体，他们正在“尽最大努力将伤害降到最低”。
在给 CNN 的一份声明中，Character.AI 表示他们“非常重视用户的安全”，并“在过去六个月中推出了许多新的安全措施”。
在该公司网站上的另一份声明中，他们概述了针对 18 岁以下用户的额外安全措施。（在他们当前的服务条款中，欧盟公民的年龄限制为 16 岁，世界其他地方的年龄限制为 13 岁。）
然而，这些悲剧赤裸裸地说明了快速发展且广泛使用的人工智能系统的危险性，任何人都可以与之交谈和互动。我们迫切需要监管来保护人们免受潜在危险、设计不负责任的人工智能系统的侵害。
我们如何监管人工智能？
澳大利亚政府正在为高风险人工智能系统制定强制性护栏。 “护栏”是人工智能治理领域的一个流行术语，指的是人工智能系统的设计、开发和部署过程。
其中包括数据治理、风险管理、测试、文档和人工监督等措施。
澳大利亚政府必须做出的决定之一是如何定义哪些系统是“高风险”的，因此受到护栏的限制。
政府还在考虑护栏是否应适用于所有“通用车型”。
通用模型是 Dany 等人工智能聊天机器人背后的引擎：人工智能算法可以根据用户提示生成文本、图像、视频和音乐，并且可以适应在各种环境中使用。
在欧盟开创性的人工智能法案中，使用列表定义了高风险系统，监管机构有权定期更新该列表。
另一种选择是基于原则的方法，其中高风险指定是根据具体情况进行的。这将取决于多种因素，例如对权利产生不利影响的风险、对身心健康的风险、法律影响的风险以及这些风险的严重性和程度。
聊天机器人应该是“高风险”人工智能
在欧洲，Character.AI 和 Chai 等配套人工智能系统并未被指定为高风险。本质上，他们的提供商只需要让用户知道他们正在与人工智能系统交互。
不过，很明显，同伴聊天机器人的风险并不低。这些应用程序的许多用户是儿童和青少年。有些系统甚至已经向孤独或患有精神疾病的人推销。
聊天机器人能够生成不可预测、不适当和可操纵的内容。他们很容易模仿有毒的关系。透明度——将输出标记为人工智能生成——不足以管理这些风险。
即使我们意识到我们正在与聊天机器人交谈，人类也会在心理上做好准备，将人类特征归因于我们与之交谈的事物。
媒体报道的自杀死亡事件可能只是冰山一角。我们无法知道有多少弱势群体与聊天机器人存在着上瘾、有毒甚至危险的关系。
护栏和“关闭开关”
当澳大利亚最终为高风险人工智能系统引入强制性护栏时（这可能最早在明年发生），这些护栏应适用于配套聊天机器人和聊天机器人所基于的通用模型。
如果护栏——风险管理、测试、监控——能够触及人工智能危害的核心，那么它们将是最有效的。聊天机器人带来的风险不仅仅是技术解决方案的技术风险。
除了聊天机器人可能使用的词语之外，产品的上下文也很重要。
以Character.AI为例，营销承诺“赋予”人们“权力”，界面模仿与人的普通短信交换，平台允许用户从一系列预制角色中进行选择，其中包括一些有问题的角色。
真正有效的人工智能护栏应该不仅仅要求负责任的流程，例如风险管理和测试。他们还必须要求人工智能系统与其人类用户之间的界面、交互和关系进行深思熟虑、人性化的设计。
即便如此，护栏可能还不够。就像同伴聊天机器人一样，最初看似低风险的系统可能会造成意想不到的伤害。
如果人工智能系统造成伤害或构成不可接受的风险，监管机构应有权将其从市场上移除。换句话说，我们不仅仅需要针对高风险人工智能的护栏。我们还需要一个关闭开关。
版权声明
本文为本站原创内容,转载需注明文章来源(https://www.eiefun.com)，另:文中部分素材可能会引用自其他平台，如有侵权或其它，请联系 admin@eiefun.com，我们会第一时间配合删除