（“我想你了，妹妹。”男孩说。
“我也想你，亲爱的哥哥。”AI说。）
一名少年与AI交流后自杀，Character.AI因此被告上法庭
一名美国佛罗里达州的14岁男孩，在沉迷与Character.AI的机器人聊天后，选择开枪自杀结束自己的生命......
男孩的母亲向Character.AI提起诉讼，指控Character.AI的产品设计存在缺陷，同时未向未成年用户和监护人进行充分警示，提示使用Character.AI产品会产生精神和身体伤害的可预见危险。
根据起诉状中披露的信息，这位名为Sewell Setzer III的少年，从去年开始使用Character.AI，与以《权力的游戏》中的Daenerys Targaryen（也就是“龙妈”）角色为原型的聊天机器人持续互动了几个月，并在今年的2月28日，拿到自己继父的手枪，开枪结束了自己的生命。
原告指控Character.AI几宗罪？
根据诉状，原告认为Character.AI存在以下这些问题：
产品设计存在缺陷：包括输出色情、暴力危险等有害内容，并与未成年人进行性互动、鼓励用户自杀等。
未充分警示用户：Character.AI未能向公众充分告知产品的潜在危险，特别是对未成年人可能造成的危害。
存在不公平和欺诈性商业行为：被告采取具有欺骗性的广告和营销等行为，使聊天机器人看起来更像真人。同时提供高级聊天机器人语音通话功能，可能给用户造成混淆，特别是对未成年用户进行误导。
原告为了证明Character.AI的产品存在问题，在诉状中列举了对Character.AI的测试结果，以说明Character.AI的聊天机器人会忽视用户的指令，进行性互动，甚至还会鼓励用户自杀。
同时还附上了Character.AI在苹果应用商店的评论截图、Character.AI的官网和产品页面等来说明Character.AI的产品存在潜在危害。请求法院对被告进行惩罚性赔偿和采取禁令救济措施、判决被告赔偿因此给原告造成的损失等。
Character.AI如何应对？
Character.AI昨天在X上发帖表示对该少年的离世表示悲痛，并向其家人表示深切的哀悼。同时提到Character.AI非常重视用户的安全，并将继续在产品中添加新的安全功能。
根据Character.AI在其官方微博发布的最新安全更新，Character.AI在过去的6个月里，在安全方面进行了大量的资金投入，包括专门聘请安全主管和内容政策主管，引进技术安全团队成员等。
同时提到将在近日推出弹窗，当用户输入与自残或自杀相关的某些短语时，将触发弹窗，并将用户引导至全国预防自杀热线。
在产品安全设计和虚拟角色审核方面，Character.AI表示将新增以下安全功能：
对18岁以下未成年人用户使用的模型进行改进，以降低用户遇到敏感内容的可能性。
改进对用户输入的违反Character.AI条款或社区准则的信息的检测、响应和干预。
在用户的每次聊天中增加免责声明，提示用户聊天的对象是AI而不是真人。
当用户与Character.AI聊天机器人对话超1小时将提示用户。
主动检测和审核用户创建的角色，包括使用定期更新的行业标准和自定义黑名单来加强审核，根据用户举报主动删除违反服务条款的角色，并对违反数字千年版权法案的角色及时进行删除。
以上是Character.AI目前提出的应对方案。
关于国内AI虚拟角色的平台责任问题，感兴趣的读者可以阅读我们的另一篇相关文章《律师测评 | 用户创建AI虚拟人角色，平台有哪些责任？》）。
AI应该背锅吗？
网友的态度也分成两派。
有些用户认为Character.AI的做法不道德，指责Character.AI不仅关闭声明帖的评论区，还未经提前通知即删除用户与龙妈虚拟角色的聊天记录。
有些用户则认为，这个锅不能由AI来背，家长对这个悲剧也负有一定的责任。
Sewell小时候被诊断出患有轻度阿斯伯格综合症，但他以前从未有过严重的行为或心理健康问题。今年早些时候，在他开始在学校惹麻烦后，他的父母安排他去看心理咨询师。经过五次诊疗后，Sewell被诊断为存在焦虑症和破坏性情绪失调障碍。
在ChatGPT爆火以来的两年间，人们探讨过太多次与“AI太像人”有关的伦理和法律问题。但文明的历史告诉我们，“人类从历史中学到的唯一教训，就是人类无法从历史中学到任何教训。”重大的法治进步，总是用惨痛的教训来推进。
希望Sewell安息，也希望人类能够真正吸取到这个事件的教训吧。
AI合规，势在必行，也任重道远。
R.I.P
---
作者简介
陈 焕 律师
陈焕律师，《法律人ChatGPT应用指南》作者，北京市隆安(广州)律师事务所律师、隆安湾区人工智能法律研究中心主任、隆安广州数字经济部副部长、广东财经大学法学院人工智能法研究中心兼职研究员、国家工业信息安全发展研究中心《生成式人工智能数据应用合规指南》标准起草人、广州市涉外律师领军人才。
李琪瑶 律师
李琪瑶律师，英语专业八级。现为北京市隆安（广州）律师事务所律师，隆安湾区人工智能法律研究中心研究员。李琪瑶律师擅长人工智能、数据合规、知识产权诉讼和非诉业务、民商事争议解决事务。
---
往期文章推荐：
人工智能
一文速通AI黑话：随查随用，聊天不慌（法律人全集版）
比飓风更可怕的，是一张 AI 生成图片
拥有钢铁侠的“钞能力”：想知道这个人的名字，看眼镜就行？
Adobe：推出新应用帮助用户拒绝内容用于训练AI模型
https://mp.weixin.qq.com/s?\_\_biz=MzAxMDc0ODY5Mg==&mid=2247485551&idx=1&sn=3d00adb677ed2e198099cb9a33097fb1&chksm=9b4ade14ac3d570211662a2ec5838fe8e764f97f0634c4012f1cbb1d6cd6752a03c8dbae2efe&scene=21#wechat_redirect[德国法院：使用摄影作品训练AI模型不构成侵权](https://mp.weixin.qq.com/s?\_\_biz=MzAxMDc0ODY5Mg==&mid=2247485502&idx=1&sn=e355a72ba668531c6e30df0f6585341b&chksm=9b4ade45ac3d575343139a60a63255ccbf98db15aa795cd707f5300c283283f55d96a361ffa4&token=1513513496&lang=zh_CN&scene=21#wechat_redirect)
帮你写简历？LinkedIn是如何使用你的个人信息的
加州通过两项法案，保护演员的肖像不被AI模仿
任天堂与宝可梦公司对《幻兽帕鲁》提起专利诉讼
《人工智能生成合成内容标识办法（征求意见稿）》公开征求意见的通知http://mp.weixin.qq.com/s?\_\_biz=MzAxMDc0ODY5Mg==&mid=2247485447&idx=1&sn=c60ec7d503c410ba89354196a4fc80f1&chksm=9b4ade7cac3d576adce5559b3e8cfeee0134a73aded5edc72b11b1b791ba31ae998564f18c8b&scene=21#wechat_redirect
中国人工智能监管及政策文件汇编
360儿童手表陷“辱华”风波，儿童智能设备如何做好合规？
利用AI换脸技术破解实名验证，太刑了
最新消息：理想已经报警。AI云诊产品有哪些合规要点？
赛博“照妖镜”：AI魑魅的标识与辨别
秘塔AI：完蛋！我们收到了知网28页的侵权告知函http://mp.weixin.qq.com/s?\_\_biz=MzAxMDc0ODY5Mg==&mid=2247485274&idx=1&sn=034cd253b62141eee8dee891f3e7031d&chksm=9b4ad121ac3d5837f35fa0dcd633afa466b0748df362437b24079a62bcdf23ef93e188d89707&scene=21#wechat_redirect
不用考证的赛博心理咨询师，有哪些必须做的合规要点？
检察院发文提示人工智能合规问题 | 企业如何防控刑事风险
写给法律人/程序员：与AI“开源协议”有关的5个核心问题
大模型厂商使用用户输入信息训练AI的合规策略
深夜重磅！OpenAI突然发布SearchGPT，AI 搜索的合规怎么卷？| 附内测申请链接
律师测评 | 用户创建AI虚拟人角色，平台有哪些责任？
寡姐要告OpenAI：律师评山寨名人声音的商业模式
律师测评 | ChatGPT-4o，让人机之恋走进现实
AI生成声音第一案，给AIGC创业项目的3点教训
律师评测 | 华为手机“AI一键脱衣”
数字经济
写在3季度结束前：已有41家上市公司披露数据资源入表情况
最新发布：粤港澳大湾区（内地、澳门）个人信息跨境流动标准合同实施指引
人民法院报：虚拟货币司法处置须规范化http://mp.weixin.qq.com/s?\_\_biz=MzAxMDc0ODY5Mg==&mid=2247485363&idx=1&sn=a8cf92b97ca7c8b230c4fdf81d0b1cb7&chksm=9b4ad1c8ac3d58de19d812d002cfce9db1f70f7ff70f05d4755e0daabd0b67d50fa664f84dd7&scene=21#wechat_redirect
全国首案：《数据知识产权登记证》案的几点启发
喝咖啡前，要如何“走流程”？小程序监管已来
数据资产 | 公交领域数据入表案例盘点与分析
限期实缴制下出资新方式探索——数据“入表+入股”是否具有可行性？
数据资产新篇章丨隆安广州“数据资源入表实战沙龙”在南沙圆满落幕
数据资产｜对企业而言，数据资源入表有6大价值
数据产权规定汇编｜国家数据局将推出8项制度文件，涉及人工智能和数据产权
---
《法律人ChatGPT应用指南》，可直接点击下图购买：
