科思研究

“少年自杀案”风波后,Character.AI推出家长监管功能

科思律师事务所 · 2025-03-28
文章插图

Character.AI在面临14岁少年自杀诉讼风波后,苹果和谷歌也一度向Character.AI发出警告,敦促Character.ai应当引入更强大的内容过滤机制,并将其在App Store上的年龄分级提高到 17+。

01 Character.AI上线“家长监管”新功能

3月25日,Character.AI在宣布上线家长监管(Parental Insights)功能,帮助家长或监护人了解18岁以下未成年用户在Character.AI平台的使用情况,具体包括:

1

在Character.AI网页端和移动设备端的每日平均使用时长。

2

用户在一周内互动最频繁的AI角色,但报告内容不包括用户与AI角色的聊天内容。

3

用户在一周内互动最频繁的AI角色,但报告内容不包括用户与AI角色的聊天内容。

文章插图

但从Character.AI的介绍来看,该功能的实现需要未成年用户先将家长或监护人的电子邮件地址添加到其帐户中,Character.AI才能将每周使用报告发送给家长或监护人。

文章插图

除了新增的家长监管功能,Character.AI声称还将在保护青少年安全方面作出以下努力:

1 使用时间通知

用户在平台上使用长达一小时的会话后,将收到通知。

2 重要免责声明

改进每次聊天中都会出现的免责声明,以提醒用户聊天机器人不是真人,模型所说的应被视为虚构。此外,对于用户创建的任何名称中包含“心理学家”、“治疗师”、“医生”或其他类似的角色,平台添加了额外的提示,明确提醒用户不应依赖这些虚拟角色来获得任何专业建议。

3 改进模型

在模型输出层面,为18岁以下用户添加了新的内容过滤器,帮助过滤危害未成年的内容。在用户输入层面,当检测到用户提交的内容违反服务条款或社区准则,则该内容将被阻止与AI角色对话。在某些情况下,如果平台检测到输入内容包含提及自杀或自残的语言,平台还将显示一个特定的弹出窗口,将用户引导至全国预防自杀生命线。

02 家长如何监管未成年的AI聊天情况

我们在《央视采访|10岁女孩和AI谈恋爱,聊天内容露骨》一文中,曾经讨论过家长对未成年人使用AI聊天软件的知情权和监督权等问题。

1 家长是否有有权知悉和监督孩子的AI聊天使用情况

实际上,家长的知情权不仅是法律赋予的权利,更是法律对家长提出的要求,是家长作为监护人应尽的义务。

《未成年人网络保护条例》第19条规定,家长要通过网络保护软件等技术手段创造良好的网络家庭环境,家长是未成年监管体系中不可或缺的一环。只有充分了解未成年人在网络上的行为和相关信息,监护人才能更好地履行监护职责。

2 家长是否有权查阅孩子使用AI软件的聊天记录

Character.AI本次推出的“家长监管”功能,并未向家长或监护人提供未成年用户的聊天记录使用情况,但家长是否有权查阅孩子使用AI软件的聊天记录,也是一个值得讨论的问题。根据国内的法律规定,我们尝试分析如下:

从家长保护未成年隐私的义务来看,《未成年人保护法》第六十三条第二款明确规定:除下列情形外,任何组织或者个人不得开拆、查阅未成年人的信件、日记、电子邮件或者其他网络通讯内容:

(一)无民事行为能力未成年人的父母或者其他监护人代未成年人开拆、查阅;

(二)因国家安全或者追查刑事犯罪依法进行检查;

(三)紧急情况下为了保护未成年人本人的人身安全。

从家长的监护权利来看,《未成年人网络保护条例》第34条明确规定,监护人具有依法查阅、复制、更正、删除未成年人个人信息的权利。

根据《个人信息安全规范》(GB/T 35273-2020),个人上网记录也属于个人信息的范畴。

文章插图

因此,当未成年人监护人在维护未成年合法正当权益的情况下,或当涉及诉讼时,我们认为,家长有权请求查阅未成年用户在AI聊天软件的使用记录,AI聊天软件运营方应当予以配合,不得对监护人的合理请求进行限制。

参考链接:

[1]https://blog.character.ai/introducing-parental-insights-enhanced-safety-for-teens/

[2]https://support.character.ai/hc/en-us/articles/34659826266267-Parental-Insights?ref=blog.character.ai

[3]https://blog.character.ai/how-character-ai-prioritizes-teen-safety/

作者 | 陈焕 李琪瑶

● AI水军,该当何罪?

●实测完DeepSeek发布的新模型,我觉得AI编程的全民普惠时刻到来了

●他们正在用 AI,疯狂给互联网「下毒」

《法律人ChatGPT应用指南》,可直接点击下图购买:

文章插图