（图片由AI生成）
北京市人民检察院发文提示人工智能刑事风险
近日，北京市人民检察院在2024全球数字经济大会“人工智能产业发展与知识产权保护”专题论坛发布了《北京市人民检察院关于人工智能产业发展刑事合规风险提示》（下称《风险提示》），针对人工智能产业中知识产权保护、公民个人信息保护、计算机信息系统安全和数据安全保护等领域的合规风险问题给出案例，并对企业的合规要点进行解读。
本文我们将结合该份《风险提示》的内容，讲讲人工智能企业应该如何从内部管理和对外经营两方面防范刑事风险。
外部刑事风险防控
1.警惕模型开发和训练引发的刑事风险
人工智能企业对大模型的训练需要海量的数据，而近日不少公司也因被质疑擅自使用用户数据来训练模型而引发舆论风波。番茄小说就因“AI训练补充协议”而引发大量创作者的不满。另有网文作者质疑WPS将未公开数据提供给豆包进行AI训练，随后相关公司都发表了否认声明。
（番茄小说在协议中新增的条款）
在用户一般都不会查阅的《用户协议》和《隐私政策》里，不少公司正在修改他们的服务条款，试图以协议的方式来征得用户同意使用其输入数据训练模型。针对该问题，读者可跳转至我们的另一篇《大模型厂商使用用户输入信息训练AI的合规策略》文章阅读。
训练数据对于人工智能企业的重要性不言而喻，但企业在收集、使用训练数据的过程中，仍需警惕其中可能引发的侵犯公民个人信息等犯罪风险。
而在《风险提示》文件中，检察院针对公民个人信息保护合规风险提出以下两个示例：
(1)某科技公司数据分析师为改进公司用于身份识别相关的人工智能模型算法，非法购买含有姓名、住址、联系方式等信息的公民个人信息。
(2)个别黑客通过恶意攻击手段，提取人工智能模型所使用训练数据中的部分数据特征，为非法获取个人信息或其他敏感信息提供便利。
以上两个案例都涉及侵犯公民个人信息犯罪，具有一定的警示意义，企业需提高个人信息保护的风险意识，否则一旦违反个人信息相关规定，构成犯罪的，企业将面临刑事责任。
2.杜绝利用人工智能技术实施犯罪行为
AI技术在给我们的生活和工作带来极大的便利的同时，有人却利用AI技术实施违法犯罪行为。
去年年底，杭州市萧山区一名男子虞某通过“AI换脸”制作涉黄视频，利用AI技术制作淫秽视频在网上进行大量传播，被判刑7年3个月。除了被追究刑事责任之外，杭州市萧山区人民检察院还提起关于侵犯公民个人信息的公益诉讼，最终判令被告虞某删除非法获取的个人信息，公开赔礼道歉、消除影响并赔偿损失。[1]
（图片来源于公众号“光明网”）
在《风险提示》中提到以下两个利用人工智能技术实施犯罪的案例：
(1)犯罪分子利用人工智能语音机器人自动拨打电话形成语音和文本通话记录，帮助诈骗团伙通过分析通话情况确定贷款意向强弱等级，进而实施电信网络诈骗犯罪。
(2)犯罪分子利用社交软件收受他人非法提供的、承载人脸信息的不特定女性的照片，再通过深度伪造技术、人工智能软件，将不特定女性的照片制作成裸体图片等淫秽物品贩卖牟利。
对于人工智能企业而言，不管是作向公众提供实施犯罪的人工智能产品，还是自行或与他人共谋利用人工智能技术实施犯罪，都将依法承担相应的刑事责任。
内部刑事风险防控
随着AI技术和应用的快速发展，企业内部使用AI提高生产力已经成为大势所趋。不少企业已经通过各类人工智能产品来实现降本增效。即便是在业务过程中暂未使用人工智能的企业，事实上也无法阻止自己的员工已经开始用AI来协助办公。
如果不对企业员工使用AI进行规范化管理，则有可能引发企业商业秘密泄露等风险事件。更甚者，涉及国际机密的，可能引发更为严重的刑事犯罪。近日，国家安全部发表《警惕！这些办公“黑科技”可能有失泄密风险！》，提示部分办公“黑科技”存在泄密风险，其中提及AI写作泄露涉密内容，部分涉密人员在起草材料时借助了AI写作工具，将涉密素材和内容输入给模型，殊不知AI写作产品收集了用户的输入信息进行模型训练，一旦相关涉密信息被境外间谍情报机关窃取，则可能造成国家秘密泄露。
多聊几句
人工智能企业不仅要追求技术的突破与创新，更要注重法律意识的培养和风险的预防，时刻警惕潜在的刑事风险。只有在法律的框架内，确保技术的应用不越过法律与道德的边界，才能保障人工智能在安全合规的道路上持续发展。
---
[1]光明网：《“AI换脸”伪造涉黄视频，多位女明星受害！》，https://mp.weixin.qq.com/s/4pWctha6BfFNfiw95l5Z1w
---
作者简介
陈 焕 律师
陈焕律师，《法律人ChatGPT应用指南》作者，北京市隆安(广州)律师事务所律师、隆安湾区人工智能法律研究中心主任、隆安广州数字经济部副部长、广东财经大学法学院人工智能法研究中心兼职研究员、国家工业信息安全发展研究中心《生成式人工智能数据应用合规指南》标准起草人。
李琪瑶 律师
李琪瑶律师，英语专业八级。现为北京市隆安（广州）律师事务所律师，隆安湾区人工智能法律研究中心研究员。李琪瑶律师擅长人工智能、数据合规、知识产权诉讼和非诉业务、民商事争议解决事务。
---
往期文章推荐
人工智能
律师测评 | 用户创建AI虚拟人角色，平台有哪些责任？
寡姐要告OpenAI：律师评山寨名人声音的商业模式
律师测评 | ChatGPT-4o，让人机之恋走进现实
AI生成声音第一案，给AIGC创业项目的3点教训
律师评测 | 华为手机“AI一键脱衣”
数字经济
数据资产 | 公交领域数据入表案例盘点与分析
限期实缴制下出资新方式探索——数据“入表+入股”是否具有可行性？
数据资产新篇章丨隆安广州“数据资源入表实战沙龙”在南沙圆满落幕
数据资产｜对企业而言，数据资源入表有6大价值
数据产权规定汇编｜国家数据局将推出8项制度文件，涉及人工智能和数据产权
---
