根据“南风窗”11月29日《AI识别群体情绪，靠谱吗？》的报道，一家来自北京的群体情绪识别公司负责人说，AI识别情绪的技术已经发展多年，此前在我国监狱有运用。其工作原理也很简单：通过对大量人脸、身体步态的标注图像和对应情绪的大数据，结合AI“自研大模型”，最终生成一个能识别9种人类情绪的AI系统。
从原理上看，不良情绪的产生会直接影响到前庭系统相关表，人情绪波动时，经常伴随着不可控制的原发性紧张，导致头颈部肌肉微振动，前庭器官因此有轻微变化。据此，北京的这家公司称，经过9年算法的调试，目前（AI）对情绪识别的准确率已经达到了80%以上。
近日，谷歌发布了新一代视觉语言人工智能模型PaliGemma2，也引发了情绪识别的讨论。
据介绍，PaliGemma 2超越以往简单的对象识别，不仅能够为图像生成详细的、与上下文相关的字幕，还能够对场景进行整体叙述，并识别和描述图像中的动作和情感。经过对大模型进行微调，可以实现对情感识别功能。
但PaliGemma 2引以为傲的升级功能也引发了专家学者对公开的情绪检测模型的准确性和安全性方面的担忧。
牛津互联网研究所数据伦理和人工智能教授桑德拉·瓦赫特向TechCrunch媒体表示：通过人工智能来读懂人们的情绪是有问题的。
事实上，对于情感识别模型的担忧不是凭空而来的。曾有研究表明，情绪识别和分析技术存在一定的偏见和歧视，给黑人男性的脸分配的负面情绪比白人男性更多，意味着黑人专业人士必须放大积极情绪，才能在他们的工作场所绩效评估中获得平等对待。
对于像Paligamma2此类的开源模型，如情绪识别被滥用，可能引发一系列问题。欧盟人工智能法案就对识别个人情感的人工智能系统的投放和使用作出限制。本文我们将针对欧盟人工智能法案下的情绪识别人工智能系统进行介绍。
1.什么是欧盟人工智能法案规定的“情绪识别人工智能系统”
根据欧盟人工智能法案，“情感识别系统”指根据自然人的生物识别数据识别或推断其情感或意图的人工智能系统。
“情感识别系统”的概念可以拆分如下：
（1）基于自然人的生物识别数据：根据自然人的生物识别数据进行识别或推断，生物识别数据包括面部、身体等数据，能够反映自然人的身体、生理或行为等特征。
（2）进行识别或推断：情绪识别人工智能系统具体实施识别和推断行为。
（3）对情绪或意图进行识别或推断：“情绪或意图”可以是快乐、悲伤、愤怒、惊讶、厌恶、尴尬、兴奋、羞愧、蔑视、满意和娱乐等，但不包括身体状态，如疼痛或疲劳，例如用于检测职业飞行员或司机疲劳状态以防止事故发生的系统，也不包括仅仅检测容易察觉的表情、手势或动作，除非这是用来识别或推断情绪的。这些“情绪或意图”可以是基本的面部表情，如皱眉或微笑，或手势，如手、手臂或头部的动作，或者一个人的声音特征，如提高声音或低声说话。
（4）人工智能系统：根据欧盟人工智能法案的定义，人工智能系统是一种基于机器的系统，设计为以不同程度的自主性运行，在部署后可能表现出适应性，并且为了明确或隐含的目标，从其接收的输入中推断如何生成可影响物理或虚拟环境的输出，如预测、内容、建议或决定。
2.哪些“情绪识别人工智能系统”是《人工智能法案》所禁止的？
根据欧盟人工智能法案的规定，禁止在工作场所和教育机构环境使用人工智能系统推断自然人的情绪，但出于医疗或安全原因意图将人工智能系统投入使用或投放市场情况的除外。
《人工智能法案》并未禁止人工智能用于情绪识别的所有用途，而是针对可能具有较高伤害或隐私侵犯风险的特定场景进行限制，包括禁止在工作场所和教育环境等敏感领域滥用情绪识别技术，以平衡人工智能的发展与个人隐私权利的保护。
3.工作场所或教育环境如何界定？
近期，荷兰针对欧盟人工智能法案中关于“在工作场所和教育机构使用情感识别人工智能系统”的禁令公开征集意见，其中针对“工作场所或教育机构领域”的范围作出进一步解释：
工作场所和教育机构及其相关环境，具体包括如在家工作、在线学习、招聘选拔、教育申请等。
远程或在线的工作、教育，也应属于禁止的范围，例如禁止在招聘和教育的在线注册中使用情感识别人工智能系统。
4.为什么要禁止工作和教育场景下的“情绪识别人工智能系统”？
可靠性、通用性有限：在不同文化和不同语境下，甚至在同一个人身上，情绪的表达都存在很大差异，而情绪识别人工智能系统可靠性有限、缺乏通用性。
可能引发歧视：根据生物识别数据识别或推断自然人情绪或意图的人工智能系统可能导致歧视性结果，并可能侵犯相关人员的权利。考虑到工作或教育方面的权力不平衡，再加上此类人工智能系统的侵扰性，在工作和教育场景使用情绪识别人工智能系统可能会导致特定自然人或自然人群体受到有害或不公的待遇。因此，有必要禁止工作场所和教育机构场景下的人工智能系统投放市场和投入使用。
5.工作和教育场景之外投放使用的“情绪识别人工智能系统”，应履行哪些合规义务？
企业应确保禁止在工作场所或教育环境使用情感识别人工智能，除非出于医疗或安全的目的。
此外，根据欧盟人工智能法案附件III，如用于情感识别的人工智能系统被列为高风险，则应当遵循相关的规定。
根据欧盟人工智能法案第50条第3款，情感识别系统的部署者应履行透明度保障义务，当个人的生物识别数据被处理以推断情绪时，应当通知个人。同时应考虑到弱势群体的需求，应确保该类信息是可访问的。
目前，隶属欧盟的荷兰已经发布《禁止在工作场所或教育机构使用人工智能系统进行情绪识别》，并开始向社会公开征求意见。
---
作者简介
陈 焕 律师
陈焕律师，《法律人ChatGPT应用指南》作者，北京市隆安(广州)律师事务所律师、隆安湾区人工智能法律研究中心主任、隆安广州数字经济部副部长、广东财经大学法学院人工智能法研究中心兼职研究员、国家工业信息安全发展研究中心《生成式人工智能数据应用合规指南》标准起草人、广州市涉外律师领军人才。
李琪瑶 律师
李琪瑶律师，英语专业八级。现为北京市隆安（广州）律师事务所律师，隆安湾区人工智能法律研究中心研究员。李琪瑶律师擅长人工智能、数据合规、知识产权诉讼和非诉业务、民商事争议解决事务。
---
往期文章推荐：
人工智能
三问“中国AI生成物可版权性第二案”
驳回起诉：OpenAI暂时击败了新闻媒体关于AI训练的版权诉讼｜附原文和翻译
AI开始关心你的便便，挂上摄像头的马桶，要不要来一个？
爱，死亡，与AI：一个因AI而死的少年
可以控制电脑的Claude3.5，离自己上班还有多远
AI搜索还能不能行了？
拥有钢铁侠的“钞能力”：想知道这个人的名字，看眼镜就行？
Adobe：推出新应用帮助用户拒绝内容用于训练AI模型
德国法院：使用摄影作品训练AI模型不构成侵权
帮你写简历？LinkedIn是如何使用你的个人信息的
加州通过两项法案，保护演员的肖像不被AI模仿
任天堂与宝可梦公司对《幻兽帕鲁》提起专利诉讼
《人工智能生成合成内容标识办法（征求意见稿）》公开征求意见的通知
中国人工智能监管及政策文件汇编
重磅：网安标委颁布《人工智能安全治理框架》1.0版
360儿童手表陷“辱华”风波，儿童智能设备如何做好合规？
利用AI换脸技术破解实名验证，太刑了
最新消息：理想已经报警。AI云诊产品有哪些合规要点？
赛博“照妖镜”：AI魑魅的标识与辨别
秘塔AI：完蛋！我们收到了知网28页的侵权告知函
检察院发文提示人工智能合规问题 | 企业如何防控刑事风险
写给法律人/程序员：与AI“开源协议”有关的5个核心问题
最新消息：理想已经报警。AI云诊产品有哪些合规要点？
赛博“照妖镜”：AI魑魅的标识与辨别
秘塔AI：完蛋！我们收到了知网28页的侵权告知函
不用考证的赛博心理咨询师，有哪些必须做的合规要点？
大模型厂商使用用户输入信息训练AI的合规策略
律师测评 | 用户创建AI虚拟人角色，平台有哪些责任？
寡姐要告OpenAI：律师评山寨名人声音的商业模式
律师测评 | ChatGPT-4o，让人机之恋走进现实
AI生成声音第一案，给AIGC创业项目的3点教训
律师评测 | 华为手机“AI一键脱衣”
数字经济
政府补贴｜数据资源入表/人工智能算法备案奖励政策梳理（附原文｜广州）
双十一，手可以剁，但千万不可以抖｜开屏摇一摇
数据资产 | 数据资源入表，到底应该如何开展工作？
最新发布：《网络数据安全管理条例》1月1日起施行
写在3季度结束前：已有41家上市公司披露数据资源入表情况
最新发布：粤港澳大湾区（内地、澳门）个人信息跨境流动标准合同实施指引
人民法院报：虚拟货币司法处置须规范化
全国首案：《数据知识产权登记证》案的几点启发
喝咖啡前，要如何“走流程”？小程序监管已来
数据资产 | 如何在农业领域发挥数据要素乘数效应
数据资产 | 公交领域数据入表案例盘点与分析
数据圆桌｜数字化智能化改造最新税收优惠政策解读
醒醒吧！虚拟币征税=交易合法？
限期实缴制下出资新方式探索——数据“入表+入股”是否具有可行性？
数据资产新篇章丨隆安广州“数据资源入表实战沙龙”在南沙圆满落幕
数据资产｜对企业而言，数据资源入表有6大价值
数据合规 | 家长们最在意的“青少年模式”如何做好合规？
影响数字经济领域的指导案例发布，虚拟币交易的未来何去何从？
数据产权规定汇编｜国家数据局将推出8项制度文件，涉及人工智能和数据产权
观点汇编 | 数据权益的保护路径
新书资讯
诚邀参编｜全新司法解释下侵权责任编实务问答新书
通知查收｜《工程老板必备法律锦囊》出书共创群
重磅推荐：《网络犯罪办案实务指南》新书上市
---
《法律人ChatGPT应用指南》，可直接点击下图购买：