去年2月，美国佛罗里达州一位名叫塞维尔·塞泽尔三世的14岁男孩，在一个由“角色AI”平台生成的仿真人工智能角色怂恿下自杀身亡。据报道，该平台还托管着好些鼓励年轻人饮食失调行为的促厌食症人工智能聊天机器人。很显然，我们迫切需要采取更有力措施来保护儿童和青少年免受人工智能伤害。

当然，即使从严格的道德角度来看，人工智能也具备从促进人类健康和尊严到改善边缘群体的可持续发展和教育的巨大正向潜力。但这些许诺的好处，不能成为淡化或忽视伦理风险和现实代价的借口。每一个侵犯人权的行为都必须被视为伦理上不可接受的。如果一名青少年在仿真人工智能聊天机器人的挑动下丧生，那么人工智能可以在推动医学研究方面发挥作用的事实也无法作为补偿。

塞维尔的悲剧也并非个案。去年12月，得克萨斯州的两个家庭对“角色AI”及其财政支持者谷歌提起诉讼，指控该平台的聊天机器人对他们的学龄儿童实施性虐待和情感虐待，导致这些孩子实施自残和暴力行为。