AI用得好，大牢蹲得早
10月25日，日本东京地方法院对一名利用AI生成诈骗病毒程序的25岁男子进行宣判，判处该男子3年监禁和4年缓刑。根据报道，该案是日本首例利用AI制作病毒进行欺诈被判刑的案件。
该男子通过与生成式人工智能进行交互，在AI提供的含有恶意程序的源代码基础上，进一步制造出用于敲诈勒索的计算机病毒。
通过“非官方版的ChatGPT”，该男子创建一个程序源代码，该代码可以对特定文件进行加密并导致文件无法正常使用，同时该代码还会创建“要求受骗者支付比特币作为赎金来删除病毒程序”的文本，以此达到通过病毒骗取钱财的目的。
也许你会以为这个犯罪分子是个计算机高手，但实际上他本人对IT知识一窍不通，自称花了一个月左右的时间才完成计算机病毒程序的制作。如果不是生成式人工智能，他认为他可能无法完成这场诈骗。
当他的律师问他这个制作计算机病毒的过程是否容易时，他也坦言并不难。
果然，自然语言才是AI时代的计算机语言......
哪怕是对技术一无所知的犯罪分子，也可以自己捣鼓出一个用于敲诈勒索的计算机病毒程序来......
被告的罪名
据报道，本案被告因滥用AI创建欺诈指令的电磁记录被判刑。
那么，“电磁记录”又是什么意思呢？
根据日本刑法，“电磁记录”是指以电子方式、电磁方式以及其他不被人感知的方法制作的供电子计算机处理信息使用的记录。
根据日本刑法的规定，无正当理由，以供他人的电子计算机运行之用为目的，制作或者提供法条所列的电磁记录或者其他记录的，构成制作非法指令电磁记录罪，处三年以下惩役或者五十万日元以下罚金。
日本刑法第一百六十八条之二规定：
①无正当理由，以供他人的电子计算机运行之用为目的，制作或者提供下列电磁记录或者其他记录的，处三年以下惩役或者五十万日元以下罚金。
一、在他人使用电子计算机之际，不让电子计算机按照其意图运转，或者发出与其意图相反的不正当指令的电磁记录；
二、除前项规定以外，记述该项不正当指令的电磁记录以及其他记录。
②无正当理由，将前款第一项规定的电磁记录供他人的电子计算机使用的，按前款规定处罚。
③前款犯罪的未遂，予以处罚。
（取得不正当指令的电磁记录等）
假设类似的事件发生在我国，根据我国的刑法规定，如犯罪嫌疑人滥用人工智能技术，生成病毒程序实施诈骗等行为，视情况可能构成诈骗罪、破坏计算机信息系统罪、非法侵入计算机信息系统罪等犯罪。
“诱骗”AI生成诈骗代码，如何应对？
模型开发者一般会采取保护措施来防止用户滥用AI，如要求AI生成违法有害的内容，但规避模型安全限制的教程依旧充斥在互联网。本案被告也承认使用了一些解除大模型生成限制的方法，来“诱骗”AI生成诈骗代码。
在去年ChatGPT上线不到几个月，就已有成上万条关于“如何利用ChatGPT创建代码开发恶意软件”的信息在美国暗网上出售。对于AI厂商而言，如何有效防范化解人工智能安全风险，一直是个难题。
上个月，我国网安标委发布《人工智能安全治理框架》1.0版，针对人工智能的内生安全风险和应用安全风险分别提出了技术应对措施和综合治理措施，同时对人工智能安全开发应用提出指引。
治理框架提到，人工智能可被用于实施自动化网络攻击或提高攻击效率，包括挖掘利用漏洞、破解密码、生成恶意代码、发送钓鱼邮件、网络扫描、社会工程学攻击等，降低网络攻击门槛，增大安全防护难度。
对此，人工智能开发者应提升对网络域、现实域、认识域、伦理域的风险应对能力，例如根据用户实际应用场景设置服务提供边界，提高人工智能系统最终用途追溯能力，通过技术手段判别不符合预期、不真实、不准确的输出结果等。
（我们把深邃的目光，默默地看向了国内的AI圈）
---
作者简介
陈 焕 律师
陈焕律师，《法律人ChatGPT应用指南》作者，北京市隆安(广州)律师事务所律师、隆安湾区人工智能法律研究中心主任、隆安广州数字经济部副部长、广东财经大学法学院人工智能法研究中心兼职研究员、国家工业信息安全发展研究中心《生成式人工智能数据应用合规指南》标准起草人、广州市涉外律师领军人才。
李琪瑶 律师
李琪瑶律师，英语专业八级。现为北京市隆安（广州）律师事务所律师，隆安湾区人工智能法律研究中心研究员。李琪瑶律师擅长人工智能、数据合规、知识产权诉讼和非诉业务、民商事争议解决事务。
---
往期文章推荐：
人工智能
AI开始关心你的便便，挂上摄像头的马桶，要不要来一个？
爱，死亡，与AI：一个因AI而死的少年
可以控制电脑的Claude3.5，离自己上班还有多远
AI搜索还能不能行了？
拥有钢铁侠的“钞能力”：想知道这个人的名字，看眼镜就行？
Adobe：推出新应用帮助用户拒绝内容用于训练AI模型
德国法院：使用摄影作品训练AI模型不构成侵权
帮你写简历？LinkedIn是如何使用你的个人信息的http://mp.weixin.qq.com/s?\_\_biz=MzAxMDc0ODY5Mg==&mid=2247485495&idx=1&sn=d62c1ccaa230490565b41d4a183b6f78&chksm=9b4ade4cac3d575ad9554bab93813ffaef8381435712afca0b9b68451066fac2fd307d927b24&scene=21#wechat_redirect
加州通过两项法案，保护演员的肖像不被AI模仿
任天堂与宝可梦公司对《幻兽帕鲁》提起专利诉讼
《人工智能生成合成内容标识办法（征求意见稿）》公开征求意见的通知http://mp.weixin.qq.com/s?\_\_biz=MzAxMDc0ODY5Mg==&mid=2247485447&idx=1&sn=c60ec7d503c410ba89354196a4fc80f1&chksm=9b4ade7cac3d576adce5559b3e8cfeee0134a73aded5edc72b11b1b791ba31ae998564f18c8b&scene=21#wechat_redirect
中国人工智能监管及政策文件汇编
重磅：网安标委颁布《人工智能安全治理框架》1.0版
360儿童手表陷“辱华”风波，儿童智能设备如何做好合规？
利用AI换脸技术破解实名验证，太刑了
最新消息：理想已经报警。AI云诊产品有哪些合规要点？
赛博“照妖镜”：AI魑魅的标识与辨别
秘塔AI：完蛋！我们收到了知网28页的侵权告知函http://mp.weixin.qq.com/s?\_\_biz=MzAxMDc0ODY5Mg==&mid=2247485274&idx=1&sn=034cd253b62141eee8dee891f3e7031d&chksm=9b4ad121ac3d5837f35fa0dcd633afa466b0748df362437b24079a62bcdf23ef93e188d89707&scene=21#wechat_redirect
检察院发文提示人工智能合规问题 | 企业如何防控刑事风险
写给法律人/程序员：与AI“开源协议”有关的5个核心问题
最新消息：理想已经报警。AI云诊产品有哪些合规要点？
赛博“照妖镜”：AI魑魅的标识与辨别
秘塔AI：完蛋！我们收到了知网28页的侵权告知函
不用考证的赛博心理咨询师，有哪些必须做的合规要点？
大模型厂商使用用户输入信息训练AI的合规策略
律师测评 | 用户创建AI虚拟人角色，平台有哪些责任？
寡姐要告OpenAI：律师评山寨名人声音的商业模式
律师测评 | ChatGPT-4o，让人机之恋走进现实
AI生成声音第一案，给AIGC创业项目的3点教训
律师评测 | 华为手机“AI一键脱衣”
数字经济
数据资产 | 数据资源入表，到底应该如何开展工作？
最新发布：《网络数据安全管理条例》1月1日起施行
写在3季度结束前：已有41家上市公司披露数据资源入表情况
最新发布：粤港澳大湾区（内地、澳门）个人信息跨境流动标准合同实施指引
人民法院报：虚拟货币司法处置须规范化http://mp.weixin.qq.com/s?\_\_biz=MzAxMDc0ODY5Mg==&mid=2247485363&idx=1&sn=a8cf92b97ca7c8b230c4fdf81d0b1cb7&chksm=9b4ad1c8ac3d58de19d812d002cfce9db1f70f7ff70f05d4755e0daabd0b67d50fa664f84dd7&scene=21#wechat_redirect
全国首案：《数据知识产权登记证》案的几点启发
喝咖啡前，要如何“走流程”？小程序监管已来
数据资产 | 如何在农业领域发挥数据要素乘数效应
数据资产 | 公交领域数据入表案例盘点与分析
数据圆桌｜数字化智能化改造最新税收优惠政策解读
醒醒吧！虚拟币征税=交易合法？
限期实缴制下出资新方式探索——数据“入表+入股”是否具有可行性？
数据资产新篇章丨隆安广州“数据资源入表实战沙龙”在南沙圆满落幕
数据资产｜对企业而言，数据资源入表有6大价值
数据合规 | 家长们最在意的“青少年模式”如何做好合规？
影响数字经济领域的指导案例发布，虚拟币交易的未来何去何从？
数据产权规定汇编｜国家数据局将推出8项制度文件，涉及人工智能和数据产权
观点汇编 | 数据权益的保护路径
http://mp.weixin.qq.com/s?\_\_biz=MzAxMDc0ODY5Mg==&mid=2247484863&idx=1&sn=f65eebe533851357f7857d1e747a208a&chksm=9b4ad3c4ac3d5ad2d7a91a963ea9b724ff2d644eba3ef0635084246988aa090088c8e508b855&scene=21#wechat_redirect
新书资讯
诚邀参编｜全新司法解释下侵权责任编实务问答新书
通知查收｜《工程老板必备法律锦囊》出书共创群
重磅推荐：《网络犯罪办案实务指南》新书上市
---
《法律人ChatGPT应用指南》，可直接点击下图购买：
