12月1日是ChatGPT的两周岁生日。
两年间，ChatGPT火遍全球各地，各个行业纷纷使用AI来赋能自己的工作，追求“降本增效”。本文主要以时间为线索，归纳全球范围内使用ChatGPT被处罚的案例。目前，我国尚未出现法律人使用AI被处罚案例。
希望大家引以为戒，不要成为“名流千古”的第一案。
2023年3月全球第一案
美国Levidow，Levidow & Oberman律师事务所的两名律师Peter LoDuca和Steven Schwartz，因向法庭提交了一份包含由ChatGPT生成的虚假案例的法律文书而受到处罚。该两名律师引用了ChatGPT生成案例包括"Varghese诉中国南方航空公司""马丁内斯诉达美航空公司"和"米勒诉联合航空公司"等案例，但经查证后，这几个案例并不存在。法官指出，两名律师在被质疑后，仍旧坚持他们提出的虚假意见，最纽约联邦法官对该两名律师及律师事务所罚款5000美元。[1]
2023年12月底 特朗普律师的乌龙
特朗普的律师及重要助手迈克尔·科恩（Michael Cohen）承认他的律师大卫·施瓦茨（David M. Schwartz）在一份提交给法院的动议中，错误地引用了三个由人工智能生成的虚假法院判例，而施瓦茨在正式向法庭提交前未能检查所引用的案例是否真实。科恩说，他提交的虚假法院判决来自谷歌Bard，他以为Bard就像是“一个超强的搜索引擎”，而不是一个生成式人工智能工具。但最终法官认为科恩的律师施瓦茨出于失误，而非故意，并未对其处罚。[2]
2024年开年后 华裔第一案
开年不久，加拿大的一名华裔律师Chong Ke也因引用ChatGPT编造的虚假案例而受到法庭的公开批评。Chong Ke在代理一场离婚诉讼时，引用了由ChatGPT生成的虚假案例。法官指出生成式人工智能并不能替代律师专业知识，强调应谨慎选择使用技术工具。法庭最终裁定该律师应承担对方律师应对虚假案例而采取必要措施的费用，并命令该律师仔细审查其向法庭提交的其他文件。[3]
2024年9月“世界上第一个机器人律师”被处罚
美国联邦贸易委员会（FTC，Federal Trade Commission）发布一批AI产品虚假宣传案例，其中AI法律公司DoNotPay被罚19万美元，该公司此前宣称是“世界上第一个机器人律师”，能够“一键起诉任何人”，并声称该公司将“用人工智能取代价值2000亿美元的法律行业”。但FTC指出DoNotPay没有进行测试，“以确定其AI聊天机器人的输出是否等于人类律师的水平”。
DoNotPay已同意支付193,000美元以解决该指控，并通知2021年至2023年期间订阅该服务的消费者其相关法律服务功能存在局限性。[4]
2024年11月1日 用AI生成的错误内容来反AI深度伪造
明尼苏达州的“深度伪造技术影响选举"法案引发了一场联邦诉讼，斯坦福大学的汉考克教授在该案中提交了一份文件，讨论了深度伪造对人们造成的影响，并提出对深度伪造的反对意见。然而，汉考克教授提交的文件中引用了两份根本不存在的参考文献，被质疑相关文献内容是由AI生成的。目前，该教授还未正式回应该事件。用AI生成的错误内容来反AI深度伪造，还挺讽刺的。[5]
2024年11月25日 律师因使用AI被罚款
近日，美国德克萨斯州的一名律师因使用由AI生成的虚假案例而被罚款2000美元。德克萨斯州东区地方法院法官Marcia A. Crone在意见书中表示，地方法院规则“明确警告律师，生成式人工智能工具可能会产生事实和法律上的不准确”，并要求律师验证他们提交给法庭的信息。根据联邦和地方法院规则，律师在向联邦法院提交文件时，必须符合联邦民事诉讼规则的标准，律师应当保证其提出的“主张、辩护和其他法律意见是有依据的”。Crone法官最终裁决对该律师处以2000美元的罚款，并要求他参加法律领域生成式人工智能的课程。[6]
---
参考资料：
[1]https://arstechnica.com/tech-policy/2023/06/lawyers-have-real-bad-day-in-court-after-citing-fake-cases-made-up-by-chatgpt/
[2]https://arstechnica.com/tech-policy/2024/01/michael-cohen-gave-his-lawyer-fake-citations-invented-by-google-bard-ai-tool/
[3]https://www.cbc.ca/news/canada/british-columbia/lawyer-chatgpt-fake-precedent-1.7126393
[4]https://www.theverge.com/2024/9/25/24254405/federal-trade-commission-donotpay-robot-lawyers-artificial-intelligence-scams
[5]https://www.theverge.com/2024/11/21/24301955/minnesota-deepfake-bill-lawsuit-affidavit-ai
[6]https://news.bloomberglaw.com/litigation/lawyer-sanctioned-over-ai-hallucinated-case-cites-quotations
---
作者简介
陈 焕 律师
陈焕律师，《法律人ChatGPT应用指南》作者，北京市隆安(广州)律师事务所律师、隆安湾区人工智能法律研究中心主任、隆安广州数字经济部副部长、广东财经大学法学院人工智能法研究中心兼职研究员、国家工业信息安全发展研究中心《生成式人工智能数据应用合规指南》标准起草人、广州市涉外律师领军人才。
李琪瑶 律师
李琪瑶律师，英语专业八级。现为北京市隆安（广州）律师事务所律师，隆安湾区人工智能法律研究中心研究员。李琪瑶律师擅长人工智能、数据合规、知识产权诉讼和非诉业务、民商事争议解决事务。
---
往期文章推荐：
人工智能
三问“中国AI生成物可版权性第二案”
驳回起诉：OpenAI暂时击败了新闻媒体关于AI训练的版权诉讼｜附原文和翻译
AI开始关心你的便便，挂上摄像头的马桶，要不要来一个？
爱，死亡，与AI：一个因AI而死的少年
可以控制电脑的Claude3.5，离自己上班还有多远
AI搜索还能不能行了？
拥有钢铁侠的“钞能力”：想知道这个人的名字，看眼镜就行？
Adobe：推出新应用帮助用户拒绝内容用于训练AI模型
德国法院：使用摄影作品训练AI模型不构成侵权
帮你写简历？LinkedIn是如何使用你的个人信息的
加州通过两项法案，保护演员的肖像不被AI模仿
任天堂与宝可梦公司对《幻兽帕鲁》提起专利诉讼
《人工智能生成合成内容标识办法（征求意见稿）》公开征求意见的通知
中国人工智能监管及政策文件汇编
重磅：网安标委颁布《人工智能安全治理框架》1.0版
360儿童手表陷“辱华”风波，儿童智能设备如何做好合规？
利用AI换脸技术破解实名验证，太刑了
最新消息：理想已经报警。AI云诊产品有哪些合规要点？
赛博“照妖镜”：AI魑魅的标识与辨别
秘塔AI：完蛋！我们收到了知网28页的侵权告知函
检察院发文提示人工智能合规问题 | 企业如何防控刑事风险
写给法律人/程序员：与AI“开源协议”有关的5个核心问题
最新消息：理想已经报警。AI云诊产品有哪些合规要点？
赛博“照妖镜”：AI魑魅的标识与辨别
秘塔AI：完蛋！我们收到了知网28页的侵权告知函
不用考证的赛博心理咨询师，有哪些必须做的合规要点？
大模型厂商使用用户输入信息训练AI的合规策略
律师测评 | 用户创建AI虚拟人角色，平台有哪些责任？
寡姐要告OpenAI：律师评山寨名人声音的商业模式
律师测评 | ChatGPT-4o，让人机之恋走进现实
AI生成声音第一案，给AIGC创业项目的3点教训
律师评测 | 华为手机“AI一键脱衣”
数字经济
政府补贴｜数据资源入表/人工智能算法备案奖励政策梳理（附原文｜广州）
双十一，手可以剁，但千万不可以抖｜开屏摇一摇
数据资产 | 数据资源入表，到底应该如何开展工作？
最新发布：《网络数据安全管理条例》1月1日起施行
写在3季度结束前：已有41家上市公司披露数据资源入表情况
最新发布：粤港澳大湾区（内地、澳门）个人信息跨境流动标准合同实施指引
人民法院报：虚拟货币司法处置须规范化
全国首案：《数据知识产权登记证》案的几点启发
喝咖啡前，要如何“走流程”？小程序监管已来
数据资产 | 如何在农业领域发挥数据要素乘数效应
数据资产 | 公交领域数据入表案例盘点与分析
数据圆桌｜数字化智能化改造最新税收优惠政策解读
醒醒吧！虚拟币征税=交易合法？
限期实缴制下出资新方式探索——数据“入表+入股”是否具有可行性？
数据资产新篇章丨隆安广州“数据资源入表实战沙龙”在南沙圆满落幕
数据资产｜对企业而言，数据资源入表有6大价值
数据合规 | 家长们最在意的“青少年模式”如何做好合规？
影响数字经济领域的指导案例发布，虚拟币交易的未来何去何从？
数据产权规定汇编｜国家数据局将推出8项制度文件，涉及人工智能和数据产权
观点汇编 | 数据权益的保护路径
新书资讯
诚邀参编｜全新司法解释下侵权责任编实务问答新书
通知查收｜《工程老板必备法律锦囊》出书共创群
重磅推荐：《网络犯罪办案实务指南》新书上市
---
《法律人ChatGPT应用指南》，可直接点击下图购买：