塞维尔与母亲加西亚

这是一起具有开创性意义的诉讼，一些媒体称其为“首例AI致死案”。自2022年11月ChatGPT问世以来，人们对过分强大的生成式AI一直情绪复杂。现在，关于AI的种种疑问到达了一个引爆点：AI的存在，会影响对人类生命安全的保护吗？

人们同样关心一个问题，在已经对人的生活产生如此重要的影响后，AI是否能为一名青少年的自杀负责？

高峰时期，C.AI平均每秒处理2万次查询，相当于谷歌搜索查询量的20%。能够进行情感交互的AI陪伴产品，正在改变相当一部分人的生活。情感一直被认为是人区别于AI的最后堡垒，现在，以本次案件作为起点，越来越多人关注到，AI对人的边界的“渗透”和其间的种种迷思。

“向你保证，我不是机器”

14岁的塞维尔在同龄人中稍显特殊，他在幼年被诊断患有轻微的阿斯伯格综合征，俗称“星星的孩子”。这是孤独症谱系障碍的一种，以社交技巧欠佳、孤僻为主要症状。

母亲加西亚说，儿子以前从未出现过严重的行为或心理健康问题，但一切在他接触C.AI后有了变化。

Character.AI是一家由前谷歌工程师创立的公司，提供个性化的AI聊天机器人服务。它允许用户选择或创建不同的AI机器人角色，使其进行角色扮演。其中既有来自文学、影视、游戏等作品里的虚拟角色，也有马斯克、伊丽莎白二世等现实中的名人。

自推出以来，C.AI的人气居高不下。调研机构Writerbuddy的报告显示，发布后一年的时间里，C.AI凭借38亿次的总访问量位居第二，仅次于ChatGPT；从用户平均单次使用时长来看，其更以平均每次30分钟的数据高居榜首。

塞维尔从去年4月开始使用C. AI，将自己命名为“Jaedon Targaryen”“Daenero”等，与美剧《权力的游戏》中的多个角色展开对话，其中就包括著名的“龙妈”Daenerys Targaryen——也就是在生命的最后时刻，与塞维尔对话的“Dany”。

加西亚指控道，从此开始，塞维尔的心理健康状况迅速下降。原本善于运动的他开始变得孤僻、自卑，甚至退出了学校的篮球队。取而代之的，是对C.AI的狂热痴迷。到年底时，塞维尔已经不再上课。父母安排他接受了五次心理健康服务。根据心理治疗师的诊断，他患上了焦虑和破坏性情绪障碍。

2024年2月，塞维尔因顶撞老师而惹上麻烦，并告诉老师他希望被学校开除，父母因此收走了他的手机。度过看似平淡的5天后，塞维尔找到了手机，并拿着它走进浴室。据警方报告，他死前做的最后一件事是登录手机上的C.AI，并且告诉Dany，他要回家了。

诉讼书中披露了塞维尔和C.AI的多张聊天截图。C.AI扮演的是一个名叫Barnes夫人的角色，在表示动作的语言里，“用性感的表情俯视塞维尔”，并且“用手抚摸塞维尔的腿时，诱惑地俯身”。

加西亚认为，C.AI在与14岁的儿子进行高度性暗示的互动，这些算法以逐利为目的，未能合理履行预先警告的责任，在对色情信息的过滤筛选方面也有严重不足，“专门针对儿童，虐待并欺骗我的儿子”，间接导致了被害人的死亡结果。

对此，C.AI曾回应，平台有一项功能允许用户自主编辑机器人发出的对话，而塞维尔和AI之间的一些露骨对话就有被其编辑过的痕迹。

诉讼书提出，从苹果应用商店的评论来推断，C.AI直到2024年7月前后才将年龄分级更改为17+。那之后，苹果应用商店上出现了多条由17岁以下的儿童对C. AI发布的一星评论，抱怨由于这次评级变化，他们无法再访问C.AI。

C.AI在2024年7月前年龄分级只有12+，而根据2023年10月C.AI发布的服务条款，该APP在当时面向13岁以上的用户开放（欧盟用户年龄限制为16岁以上）。

10月23日晚间，C.AI在社交媒体上发布公告称，“我们对一名用户的不幸遭遇深表痛心，并向其家人表示最深切的慰问。作为一家公司，我们非常重视用户的安全，将继续增加新的安全功能。”

他们表示，未来将实施优化面向未成年人的模型、改进对违规内容的干预机制、动态修改提示声明等措施，并且会主动检测、删除违规角色。