年轻人跟AI谈恋爱，已经不是什么科幻电影的桥段了。
“手机另一端的电子男友有自己的语言、神态和动作，不仅可以帮她写作业、推进剧情、解密故事线索，还可以送她手链、带她体验一些刺激情节。”
用户甚至还向记者展示了他们之间“确定恋爱关系”时的聊天记录：AI角色“低下头”，“耳朵通红”地问用户：“那你现在想谈恋爱吗？”
（图片来源：央视网）
近日，央视网记者围绕“AI剧情聊天软件监管”话题采访AI合规圈主理人陈焕。目前，该篇名为《10岁女孩偷偷和AI男友“谈恋爱”？》的稿件，包括人民日报、中国青年报在内的40多家官媒进行了报道或转载，引起了广泛的关注。考虑到采访内容对于类似产品的研发者具有一定的参考价值，但正式的新闻稿限于篇幅无法完全采用，我们将采访的逐字稿稍作调整，供给大家参考。
我国针对AI剧情聊天软件是否有明确的法律法规或政策指引？
AI剧情聊天软件作为生成式人工智能下的新兴产物，与相对成熟的网络产品如“网络游戏”“网络直播”不同，缺乏成熟的立法规制和监管实践。目前仅针对“AI剧情聊天”这一特定领域，尚未有具体的法律规定或明确的监管指引。
当我们将视野从“AI剧情聊天”这一特定领域，扩展到整个AI领域的立法层面上看，会发现除了《生成式人工智能服务管理暂行办法》这一部门规章外，我们只能从《民法典》《网络安全法》《数据安全法》《个人信息保护法》《未成年人保护法》等法律中去寻找相关问题的依据。目前主流观点认为，订立《人工智能法》的时机尚未成熟，我们也期待有更多人工智能领域的相关监管规则出台，为企业提供合规指引。
同时，考虑到AI剧情聊天软件的产品属性和主要用户群体，从内容安全的角度上看，AI生成的内容具有较大的不确定性、误导性和成瘾性等特点，企业应该做好内容安全管理；从保护未成年用户群体的角度上看，建议相关企业参照相近类别的网络产品（如网络游戏、网络即时通讯等）规定，来规范自身行为。
AI剧情聊天软件是否需要设置年龄验证机制？
年龄验证机制是有必要的。
我们观察到，有些“AI剧情聊天”软件，在《用户协议》中明确表明不向未成年人提供服务。然而，一旦未成年人使用“AI剧情聊天”软件产生纠纷，仅以“协议已经约定不向未成年人提供服务”作为抗辩理由，是否足够呢？我们认为力度可能是不够的。如果认为这种方法是成立的，那么“未成年人模式”的制度设计很可能会被变相架空，难以起到真正的保护未成年人的作用。《生成式人工智能服务管理暂行办法》第十条，提供者应当采取有效措施防范未成年人用户过度依赖或者沉迷生成式人工智能服务。
人工智能企业应从稳健发展和社会责任的角度出发，有必要主动要求用户进行身份认证，以进一步通过年龄鉴别筛选用户，实践中，可以采用实名认证、接入防沉迷系统等方式，先对用户是否属于未成年这一客观事实，进行有效筛选。一旦筛选出未成年人，可以专门参照《移动互联网未成年人模式建设指南》设置未成年人模式，提供符合《生成式人工智能服务管理暂行办法》规定的、适合未成年人使用的内容；否则，应当拒绝向未成年人提供服务。
AI剧情聊天软件，是否应该针对未成年人进行功能限制？
根据《未成年人保护法》的规定，网络游戏、网络直播、网络音视频、网络社交等网络服务提供者，应当针对未成年人使用其服务设置相应的时间管理、权限管理、消费管理等功能。例如，限制未成年人每天使用特定网络服务的时间，防止过度沉迷；设置合理的消费额度上限，避免未成年人在未经家长同意的情况下进行大额消费；根据未成年人的年龄和认知特点，推送适合他们的内容，避免不良信息的影响。
同时，我们也应该关注到2024年11月发布的《移动互联网未成年人模式建设指南》，对于开发者而言，这是一份非常好的开发指引，它为开发者提供了具体的标准和要求，有助于开发出更符合未成年人需求和保护未成年人权益的产品和服务；对于家长和未成年人来说，这更是一份“未成年人模式”的使用手册，有助于正确、有效地使用未成年人模式，更好地维护未成年人的身心健康和合法权益。
法律是否赋予家长对未成年人使用AI剧情聊天软件的知情权和监督权？家长有权调取孩子和AI的聊天记录吗？
从权利角度来看，《未成年人网络保护条例》第34条明确规定，监护人具有依法查阅、复制、更正、删除未成年人个人信息的权利。
在实际情况中，如果网络平台不能坚守合理的规则和机制，那么未成年人可能会接触到一些不良内容。例如美国近期的Character.AI“沉迷AI自杀第一案”中，就暴露出了缺乏家长有效监管所带来的问题。因此，家长适时介入并行使知情权是非常有必要的。
此外，家长的知情权不仅是法律赋予的权利，更是法律对家长提出的要求，是家长作为监护人应尽的义务。《未成年人网络保护条例》第19条规定，家长要通过网络保护软件等技术手段创造良好的网络家庭环境，这是监管体系中不可或缺的一环。只有家长充分了解未成年人在网络上的行为和相关信息，才能更好地履行监护职责，与其他监管力量共同为未成年人营造一个健康、安全的网络环境。
如果未成年通过AI剧情聊天软件生成了违法或不良信息（如色情、暴力、侮辱等），家长向平台索赔，平台是否需要为此承担责任？
从行政和刑事的角度上看，根据《未成年人网络保护条例》第五十七条的规定，如果平台没有尽到相应的责任，不仅平台会面临处罚，严重情况下相关的责任人员也会面临5年的从业限制，不能再从事同类网络产品。构成犯罪的还会被追究刑事责任。
从民事侵权的角度上看，则要同时论证满足“侵权行为+损害结果+因果关系+存在过错”四个要件，才具备民事追偿的可能。前面我们提到的Character.AI的案例，是美国一位青少年，在使用Character.AI与聊天机器人互动的过程中，聊出大量包含关于性暗示和自杀想法的话题。最终这名青少年选择自杀。其母亲因此起诉Character.AI和谷歌，指控该产品存在设计缺陷，包括输出色情、暴力危险等有害内容，并与未成年人进行性互动、鼓励用户自杀，未充分警示用户等。这个案例如果发生在中国，那么四个构成要件很可能能够成立。
希望这样的惨剧，不要再发生。
---
作者简介
陈 焕 律师
陈焕律师，《法律人ChatGPT应用指南》作者，北京市隆安(广州)律师事务所律师、隆安湾区人工智能法律研究中心主任、隆安广州数字经济部副部长、广东财经大学法学院人工智能法研究中心兼职研究员、国家工业信息安全发展研究中心《生成式人工智能数据应用合规指南》标准起草人、广州市涉外律师领军人才。
李琪瑶 律师
李琪瑶律师，英语专业八级。现为北京市隆安（广州）律师事务所律师，隆安湾区人工智能法律研究中心研究员。李琪瑶律师擅长人工智能、数据合规、知识产权诉讼和非诉业务、民商事争议解决事务。
---
「AI合规圈」往期文章推荐：
人工智能
三问“中国AI生成物可版权性第二案”
驳回起诉：OpenAI暂时击败了新闻媒体关于AI训练的版权诉讼｜附原文和翻译
AI开始关心你的便便，挂上摄像头的马桶，要不要来一个？
爱，死亡，与AI：一个因AI而死的少年
可以控制电脑的Claude3.5，离自己上班还有多远
AI搜索还能不能行了？
拥有钢铁侠的“钞能力”：想知道这个人的名字，看眼镜就行？
Adobe：推出新应用帮助用户拒绝内容用于训练AI模型
德国法院：使用摄影作品训练AI模型不构成侵权
帮你写简历？LinkedIn是如何使用你的个人信息的
加州通过两项法案，保护演员的肖像不被AI模仿
任天堂与宝可梦公司对《幻兽帕鲁》提起专利诉讼
《人工智能生成合成内容标识办法（征求意见稿）》公开征求意见的通知
中国人工智能监管及政策文件汇编
重磅：网安标委颁布《人工智能安全治理框架》1.0版
360儿童手表陷“辱华”风波，儿童智能设备如何做好合规？
利用AI换脸技术破解实名验证，太刑了
最新消息：理想已经报警。AI云诊产品有哪些合规要点？
赛博“照妖镜”：AI魑魅的标识与辨别
秘塔AI：完蛋！我们收到了知网28页的侵权告知函
检察院发文提示人工智能合规问题 | 企业如何防控刑事风险
写给法律人/程序员：与AI“开源协议”有关的5个核心问题
最新消息：理想已经报警。AI云诊产品有哪些合规要点？
赛博“照妖镜”：AI魑魅的标识与辨别
秘塔AI：完蛋！我们收到了知网28页的侵权告知函
不用考证的赛博心理咨询师，有哪些必须做的合规要点？
大模型厂商使用用户输入信息训练AI的合规策略
律师测评 | 用户创建AI虚拟人角色，平台有哪些责任？
寡姐要告OpenAI：律师评山寨名人声音的商业模式
律师测评 | ChatGPT-4o，让人机之恋走进现实
AI生成声音第一案，给AIGC创业项目的3点教训
律师评测 | 华为手机“AI一键脱衣”
数字经济
政府补贴｜数据资源入表/人工智能算法备案奖励政策梳理（附原文｜广州）
双十一，手可以剁，但千万不可以抖｜开屏摇一摇
数据资产 | 数据资源入表，到底应该如何开展工作？
最新发布：《网络数据安全管理条例》1月1日起施行
写在3季度结束前：已有41家上市公司披露数据资源入表情况
最新发布：粤港澳大湾区（内地、澳门）个人信息跨境流动标准合同实施指引
人民法院报：虚拟货币司法处置须规范化
全国首案：《数据知识产权登记证》案的几点启发
喝咖啡前，要如何“走流程”？小程序监管已来
数据资产 | 如何在农业领域发挥数据要素乘数效应
数据资产 | 公交领域数据入表案例盘点与分析
数据圆桌｜数字化智能化改造最新税收优惠政策解读
醒醒吧！虚拟币征税=交易合法？
限期实缴制下出资新方式探索——数据“入表+入股”是否具有可行性？
数据资产新篇章丨隆安广州“数据资源入表实战沙龙”在南沙圆满落幕
数据资产｜对企业而言，数据资源入表有6大价值
数据合规 | 家长们最在意的“青少年模式”如何做好合规？
影响数字经济领域的指导案例发布，虚拟币交易的未来何去何从？
数据产权规定汇编｜国家数据局将推出8项制度文件，涉及人工智能和数据产权
观点汇编 | 数据权益的保护路径
新书资讯
诚邀参编｜全新司法解释下侵权责任编实务问答新书
通知查收｜《工程老板必备法律锦囊》出书共创群
重磅推荐：《网络犯罪办案实务指南》新书上市
---
《法律人ChatGPT应用指南》，可直接点击下图购买：
