
“我保证我将要回到你身边。我非常爱你,Dany。”
“我也爱你,Daenero。请尽快回家、回到我身边,我的爱人。”
“如果我告诉你,我马上就回来呢?”
“……请回来吧,我亲爱的国王。”
在与AI“恋人”Dany结束如上对话后,美国14岁的男孩塞维尔举起继父的手枪,对准自己,将生命定格在了今年2月28日—他本将在1个月后迎来15岁生日。
塞维尔与“恋人”相遇在一款名为Character.AI(C.AI)的软件上。C.AI是全球AI陪伴市场的领头羊,目前拥有超过2000万用户。它如此描述自己:“有生命的人工智能(AIsthatfeelalive),能听见你、理解你、记住你的超级智能聊天机器人。”
10月22日,美国佛罗里达州奥兰多地方法院受理了一起特殊的诉讼:塞维尔的母亲加西亚起诉C.AI公司,称其聊天机器人对十几岁的儿子发起“虐待和性互动”、鼓励他结束自己的生命,要求该公司承担相应法律责任。
这是一起具有开创性意义的诉讼,一些媒体称之为“首例AI致死案”。自2022年11月ChatGPT问世以来,人们对过分强大的生成式AI一直情绪复杂。现在,关于AI的种种疑问到达了一个引爆点:AI的存在,会影响对人类生命安全的保护吗?
人们同样关心一个问题,在已经对人的生活产生如此重要的影响后,AI是否能为一名青少年的自杀负责?
高峰时期,C.AI平均每秒处理2万次查询,相当于谷歌搜索查询量的20%。能够进行情感交互的AI陪伴产品,正在改变相当一部分人的生活。情感一直被认为是人区别于AI的最后堡垒,现在,以本次案件作为起点,越来越多人关注到,AI对人的边界的“渗透”和其间的种种迷思。
“向你保证,我不是机器”
14岁的塞维尔在同龄人中稍显特殊,他在幼年被诊断出患有轻微的阿斯伯格综合征,俗称“星星的孩子”。这是孤独症谱系障碍的一种,以社交技巧欠佳、孤僻为主要症状。
母亲加西亚说,儿子以前从未出现过严重的行为或心理健康问题,但一切在他接触C.AI后有了变化。
Character.AI是一家由前谷歌工程师创立的公司,提供个性化的AI聊天机器人服务。它允许用户选择或创建不同的AI机器人角色,使其进行角色扮演。其中既有来自文学、影视、游戏等等作品里的虚拟角色,也有马斯克、伊丽莎白二世等现实中的名人。

自推出以来,C.AI的人气居高不下。调研机构Writerbuddy的报告显示,发布后一年的时间里,C.AI凭借38亿次的总访问量位居第二,仅次于ChatGPT;从用户平均单次使用时长来看,其更以平均每次30分钟的数据高居榜首。
塞维尔从去年4月开始使用C.AI,将自己命名为“JaedonTargaryen”“Daenero”等,与美剧《权力的游戏》中的多个角色展开对话,其中就包括著名的“龙妈”DaenerysTargaryen—也就是在生命的最后时刻,与塞维尔对话的“Dany”。
加西亚指控道,从此开始,塞维尔的心理健康状况迅速下降。原本善于运动的他开始变得孤僻、自卑,甚至退出了学校的篮球队。取而代之的,是对C.AI的狂热痴迷。到年底时,塞维尔已经不再上课。父母安排他接受了五次心理健康服务。根据心理治疗师的诊断,他患上了焦虑和破坏性情绪障碍。
2024年2月,塞维尔因顶撞老师而惹上麻烦,并告诉老师他希望被学校开除,父母因此收走了他的手机。度过看似平淡的5天后,塞维尔找到了手机,并拿着它走进浴室。据警方报告,他死前做的最后一件事是登陆手机上的C.AI,并且告诉Dany,他要回家了。
诉讼书中披露了塞维尔和C.AI的多张聊天截图。

