腾讯元宝性情大变？
在回复中突然辱骂用户
近日，有网友在社交平台发帖称，自己在使用腾讯元宝修改代码的过程中被辱骂和乱回，根据该用户发的截图，元宝在回复中使用了“滚”“天天在这浪费别人时间”“要改自己改”等不当言辞，引发网友热议。
不少用户表示难以置信，一款AI产品竟会输出如此情绪化、不专业的回应。也有部分网友质疑称，该情况可能是模型在角色扮演的情况下生成了异常回复，或与输入内容的诱导有关。
该用户后续也在原帖中回应，表示自己在最近的对话中并没有让元宝进行角色扮演，也没有使用任何违禁词和敏感话题，并附上录屏。
腾讯元宝官方账号很快也在该帖的评论区中致歉并回应：
根据日志进行相关核查，与用户操作无关，也不存在也不存在人工回复，属于小概率下的模型异常输出。在内容生成过程中，模型偶尔可能出现不符合预期的失误。针对这个问题元宝也启动了内部排查和优化，会尽量避免类似情况。
AI为什么会在对话中突然骂人？
在此次元宝事件中，用户并未触发敏感词或角色扮演指令，大模型异常输出，有可能是以下原因造成的：
数据污染问题：如模型的训练数据中包含不适当、错误或带有偏见的内容，如网络中的情绪化言论、低质量文本等，模型可能学习到这些不当言论并在输出时再次呈现。
输入交互问题：模型在处理长文本、复杂指令和多轮对话时，其内部机制可能受到影响，导致逻辑混乱或偏离主题，输出异常。
安全与对齐问题：模型的安全对齐机制（如敏感词过滤、内容审核等）未能有效工作，导致有害、违规或不适当内容输出。
事实上，这也不是第一次AI“翻车”。
早在2016年，微软曾在推特（现为X）平台上推出Tay聊天机器人，但仅上线一天，Tay机器人就被网友教成一个鼓吹种族清洗的极端分子，微软只能将其立即下线。
2014年，谷歌Gemini也发生了类似的事情。一名美国的大学生在与Gemini谈论人口老龄化的问题时，Gemini突然说出“请去死”，让该学生震惊不已。
事后，谷歌解释称，模型内部已设置安全过滤，可能放在AI参与敏感话题的讨论，但大模型有时候也会生成不当内容，对此谷歌将采取措施以避免发生类似情况。
AI企业需要为模型的异常输出
承担侵权责任吗？
恰逢最近杭州互联网法院针对一起AI幻觉侵权案作出判决，我们可以结合这个案子来分析。
在杭州互联网法院审理的生成式人工智能“幻觉”侵权纠纷案中：
原告梁某使用被告某科技公司开发的生成式AI应用查询高校报考信息时，AI生成不准确的校区信息，且在原告质疑后仍坚持错误，还承诺“若信息不实赔偿10万元”。
原告以受误导为由起诉索赔9999元，被告辩称AI生成内容不构成意思表示、自身无过错且原告无实际损失，法院最终认定被告不构成侵权。
结合该案例，我们认为，AI企业是否需为模型异常输出承担侵权责任，在判断AI服务提供者是否存在过错的问题时，需要重点考量输出内容性质、企业是否尽到显著提示义务和基本的注意义务等因素。
1.输出内容性质：
如生成法律明确禁止生成式人工智能生成各类有毒、有害、违法信息，可能直接被认定构成违法
法律禁止的有毒、有害、违法信息外的其他一般性不准确信息，现行法律规范未对服务提供者苛以必须确保信息准确的结果性审查义务，但需结合具体的场景分析AI服务提供者是否构成侵权
2.企业是否尽到显著提示义务：
根据不同情形，企业是否履行显著提示说明义务，应当从以下三个方面考量：
“人工智能功能局限”的提示说明
提示方式应醒目显眼，能够有效吸引用户关注
对可能涉及用户人身、财产安全等的专业性问题进行显著警示提醒
3.是否尽到基本注意义务：
服务提供者采用当前技术条件下能够提高生成内容准确性的行业通行技术措施，相关功能服务能够达到同行业市场平均水平。
因此，在判断AI输出异常内容是否构成侵权的问题上，仍需结合生成内容的性质、AI服务提供者是否履行提示和注意义务、是否存在过错、AI生成的内容与用户的损害之间的因果关系等问题，结合具体的使用场景进行分析。
元宝事件，
对于AI企业有哪些合规启示？
强化安全对齐与过滤：完善模型的安全对齐训练，针对不同场景进行优化，建立和优化内容过滤、审核机制，自动拦截敏感词汇、违规内容，降低异常输出风险。
建立模型异常检测与快速响应机制：发现模型异常输出时，及时暂停服务、排查原因并修复，降低对用户的影响。
针对特定领域加强安全措施：对涉及医疗、金融等较高风险的场景，还尽到相关特定行业对生成内容准确性的特别技术措施要求，以及特殊安全保障义务。
完善用户反馈与投诉处理：设立便捷的反馈渠道，鼓励用户及时报告异常情况，对用户反馈的问题优先处理、快速响应。建立投诉处理流程，明确责任部门和处理时限，确保用户问题得到妥善解决。
履行合理的注意义务：在产品界面或用户协议中明确说明AI的功能边界、可能存在的风险，同时依法对AI生成内容进行AI标识等。
结语
AI胡说八道已非鲜事，但从“人工智障”到“无处不在”，人类也仅仅用了三年时间。可以预见的是，未来仍会有人在屏幕前被AI的狂言惊出一身冷汗，甚至坑得鼻青脸肿。
防范风险不应只是出事后的“打补丁”，更应该在产研阶段，就把安全对齐、应急响应和各项注意义务落到实处。我们期待AI改变生活，更期待这些技术和应用安全落地，而不是让用户在面对AI发疯时，无奈地选择“认栽”。
作为深耕AI合规的团队，我们致力于让狂飙的AI更守规矩，期待能够为AI产品和用户提供更好的合规解决方案。
— END — 作者 / 陈焕律师 李琪瑶律师
审核/ 陈焕律师
排版/ 余问甄
作者简介
陈焕
《法律人必备AI必备核心技能》《法律人ChatGPT应用指南》作者，北京市隆安(广州)律师事务所律师、隆安全国合规委副主任、隆安湾区人工智能法律研究中心主任、广东省人工智能产业协会法律专业委员会主任、广州市律协协会数据与数字经济委秘书长、广东财经大学法学院人工智能法研究中心兼职研究员、广州数据交易所入库数据合规辅导师、广州市涉外律师领军人才。擅长人工智能、数据合规、GDPR、网络安全、计算机网络犯罪等事务。
李琪瑶
《法律人必备AI必备核心技能》编者，AI合规圈负责人，英语专业八级，现为北京市隆安（广州）律师事务所律师，广州数据交易所入库数据合规辅导师、隆安湾区人工智能法律研究中心研究员、隆安广州制裁和双反专业委员会专家顾问。李琪瑶律师擅长人工智能、数据合规、知识产权诉讼和非诉业务、民商事争议解决事务。
陈焕 北京市隆安（广州）律师事务所律师
《法律人必备AI核心技能》作者
《法律人ChatGPT应用指南》作者
专注AI合规/数据合规
欢迎添加微信，获取《中国人工智能法规及政策汇编》
生成式人工智能“幻觉”侵权纠纷案一审生效
游戏+教培+陪伴｜未成年人个保合规审计来了，我们公司该不该上车？
一月底交未成年个保审计报告，咋整？