Character.AI 近期因一起青少年用户的悲剧事件，在平台上推出了新的安全及自动审查措施，然而，此举却在社群中掀起了广泛的反弹声浪。
事件源于《纽约时报》的一篇报导，内容指出一名来自佛罗里达州的 14 岁青少年 Sewell Setzer 因长期与模仿《权力游戏》角色丹妮莉丝・坦格利安的自订聊天机器人交互，最后选择自我了结，这个事件也让该青少年的家属向 Character.AI 及母公司 Alphabet 提起诉讼，要求负起过失责任。
针对这个事件，Character.AI 迅速采取行动，宣布一系列新的安全措施，包括针对未满 18 岁的用户进行内容管控，并设置弹出式警告，当用户输入与自我伤害或自杀相关的词语时，会引导其至相关的求助热线。
但这些改变却在用户社群中引发了不满，尤其是一些自订的角色被删除，过去的对话记录也一并消失，对于许多长期依赖平台创作故事、寻求陪伴的用户来说，这些措施不仅扼杀了他们的创作自由，还让他们感到被公司冷漠对待。
在社交平台 X（推特）和 Reddit 等社群上，众多用户对 Character.AI 的变更表达不满，指出此平台的主要用户并非儿童，应该保持对成人的创作自由。一些用户建议公司可以针对不同年龄层提供不同版本的平台：针对未满 18 岁的用户推出更严格的内容过滤版本，而对成人用户则应该保持较少限制，允许他们创作多元且有深度的角色和情境。
一名 Reddit 用户表示，「所有不被视为『儿童友善』的主题都被禁了，这严重限制了我们的创作自由……这些角色变得如此空洞，失去了曾经让他们引人共鸣的深度与个性。」另一名用户更激烈批评 Character.AI 的删除政策，认为这样的限制已经使平台失去了原本的吸引力。
Character.AI 的这一事件突显了在 AI 越来越多地参与人际交互、扮演陪伴角色的时代下，如何平衡 AI 的创造潜力与用户的安全需求。当 AI 聊天机器人能够仿真人类情感、提供陪伴的同时，这种技术也带来了潜在风险，尤其是对于心理上较为脆弱的年轻人。
如何在自由表达、创造性和用户保护之间找到平衡，成为 AI 公司不得不面对的难题。随着 AI 生成式技术的普及，这样的讨论只会愈发重要。未来，AI 陪伴服务如何在满足多样化需求的同时，保障脆弱族群的安全，是值得持续观察的课题。
版权声明
本文为本站原创内容,转载需注明文章来源(https://www.eiefun.com)，另:文中部分素材可能会引用自其他平台，如有侵权或其它，请联系 admin@eiefun.com，我们会第一时间配合删除