这项研究来自瑞士联邦理工学院数据科学中心、德国Everest Systems GmbH、意大利Villanova.ai公司及独立研究员的联合团队成果以工作笔记形式提交至2026年CLEF国际评测大会的EXIST实验室赛道发表于2026年9月21至24日在德国耶拿举办的CLEF 2026 Working Notes论文集感兴趣的读者可以通过代码仓库 github.com/NLP-AI-Wizards/EXIST-2026 进一步了解详情。每天互联网上流传着成千上万张表情包meme。有些让人捧腹有些让人皱眉还有一些悄悄传递着对女性的轻视与歧视。问题在于这些歧视往往藏在幽默的外壳下——一张配了搞笑文字的女性图片一个暗示女人就该待在厨房的段子表面看起来只是玩笑实则在一点一点地侵蚀着社会对性别平等的认知。已有研究证明长期暴露在这类内容中会让女性产生焦虑、自我审查进而退出公共话语空间。正因如此能够自动识别出这类内容的AI系统就成了维护网络环境的重要工具。然而教AI看懂表情包并不容易。表情包的意思并不像一篇新闻那样直白它的含义往往从图片和文字的碰撞中产生——有时候单看图是无害的单看文字也没问题但两者合在一起就成了歧视性内容。此外性别歧视本身就是一个充满争议的话题不同的人对同一张表情包可能有截然不同的判断。这支来自瑞士、德国、意大利的研究团队正是针对这两大核心难题设计了他们的解决方案。他们在EXIST 2026评测赛中在最难的子任务上拿到了第一名在另外两个子任务上也都排进了前四这篇文章将带你完整了解他们是怎么做到的。一、表情包为什么让AI头疼要理解这项研究解决了什么问题先要明白表情包在AI眼里有多复杂。普通的文字分类任务就像让AI判断一封邮件是不是垃圾邮件输入的内容是明确的文字意思也相对直白。但表情包不同它是图片和文字的混合体而且这两者之间的化学反应才是意义的来源。研究团队在论文中举了一类典型情况当毒性或歧视性仅仅来自于图文交互时那些只看图或只看字的AI系统就会彻底失败。这并非理论推测而是已经被学界多次证实的现象。早在2022年的SemEval评测一个国际自然语言处理竞赛和Meta公司发起的有害表情包挑战中研究者就发现单模态系统在这类任务上表现糟糕。更难的地方在于性别歧视的判断本身就充满主观色彩。同一张表情包拿给十个人看可能有七个人觉得有问题三个人觉得没什么。传统的机器学习方式会直接把这七票少数归为正确答案把那三票少数直接丢掉。但这种做法有一个根本性的缺陷它假装这个世界是非黑即白的而抹掉了真实存在的模糊地带与少数声音。这支团队的核心思路是让AI不去做一个武断的法官而是像一个诚实的统计员如实呈现有多少人认为这是歧视、有多少人认为不是。这种做法有个学术名字叫做从分歧中学习Learning with Disagreement简称LeWiDi。二、这场比赛到底在考什么EXIST 2026是一个专门评测性别歧视内容识别系统的国际竞赛由多所欧洲大学和研究机构组织。这次比赛提供了3984张训练用表情包和1053张测试用表情包内容涵盖英语和西班牙语西班牙语约有2519张英语约有2518张总计5037张。比赛设置了三个层层递进的子任务难度依次升高。第一个任务是最基础的二分类这张表情包是不是有性别歧视回答是或否。第二个任务只针对已经被判定为有歧视的表情包进一步判断它的意图——是主动传播歧视DIRECT还是批判和谴责歧视行为JUDGEMENTAL这个区分非常微妙因为一张讽刺歧视的表情包和一张真正宣扬歧视的表情包画面内容可能几乎一样区别只在于创作者的立场。第三个任务也只针对有歧视的表情包要求给它打上更细致的分类标签总共有五种类型分别是否认性别不平等的意识形态内容、强化刻板印象与男性主导地位的内容、将女性物化的内容、包含性暴力的内容以及表达仇恨或非性暴力的内容。而且同一张表情包可以同时属于多个类别。这三个任务之间存在天然的层级依赖关系——如果一张表情包在第一关就被判定为无歧视那第二关和第三关对它来说就没有意义。这种层级结构后来成为研究团队系统设计的核心出发点。比赛还提供了一个非常特别的评测轨道叫做Soft-Soft专门评估系统预测的概率分布与真实标注者分布之间的差距。打个比方如果真实情况是十个标注者中有七个觉得有歧视、三个觉得没有那么预测结果70%有歧视、30%没有就比100%有歧视更接近真相即便两者在最终决策上可能给出同样的答案。此外比赛还提供了标注者的生理数据作为辅助信息包括脑电图EEG、眼动数据和心率数据这些都是标注者在观看表情包时采集到的生理反应。研究团队专门对这些数据的价值进行了严格的统计检验。三、生理数据能帮上忙吗这是整个研究中一个很有意思的探索支线。EXIST 2026是第一届提供生理数据的评测组织者认为标注者在看到歧视性内容时脑电、眼动和心率等生理反应可能蕴含着额外的信号帮助AI更好地理解哪些内容让人产生了不适感。研究团队对此进行了认真的实证检验。他们优先分析了脑电数据理由是脑电拥有最高的特征维度16个通道、5个频段共80个特征而且神经科学领域已经积累了大量证据表明脑电信号能反映人对内容的内隐认知评价。相比之下眼动数据本质上是一个二维的注视轨迹心率只是一个单一的数值这两者更多反映的是视觉注意和生理唤醒状态而不是对歧视内容的具体认知判断。基于这一考量团队对眼动和心率没有进行同样深度的统计分析留待未来研究探索。对于脑电数据团队先用主成分分析PCA将80个特征压缩成21个最有代表性的成分保留了约95%的信息量然后用多变量方差分析MANOVA检验这些脑电成分能否区分不同标签分组的样本。结果相当明确对于任务一和任务三脑电数据根本没有显示出任何统计意义上的区分能力随机置换检验的p值分别高达0.60和0.49说明这些脑电特征和任务标签之间没有线性关联。任务二的结果略有不同达到了统计显著置换检验p值为0.0010但效应量极其微弱——Wilks λ接近10.9946偏η?小于0.01。更关键的是经过Bonferroni多重比较校正校正阈值为6.25×10??之后80个脑电通道中没有一个能够单独存活下来。换句话说脑电数据虽然在统计意义上对任务二微弱显著但实际上几乎提供不了什么有用的判别信息。研究团队因此做出了一个务实的决定放弃生理数据专注于语义表示。这并不是说生理数据一定没用只是当前提供的线性特征表示下它的价值不足以支撑模型改进。非线性融合的潜力团队坦诚地留给了未来的研究者。四、核心武器冻结的万能翻译机既然生理数据靠不住研究团队把全部赌注押在了语义表示上。他们的核心工具是谷歌的Gemini Embedding 2模型一个在2026年发布的原生多模态嵌入模型。可以把这个模型理解成一台万能翻译机——不管输入的是图片还是文字甚至是图文混合的表情包它都能将其翻译成一个由768个数字组成的向量。这个向量就像一张精密的内容指纹语义相近的内容对应的向量也彼此相近。关键在于这台翻译机是提前训练好的、被冻结的——研究团队不会去改动它只是借用它产生的指纹然后在指纹的基础上训练自己的判断系统。为什么要冻结而不微调这是一个非常实际的考量。可用的训练数据只有3984张表情包相对于一个大型多模态模型的参数量来说这个数据量实在太小了。在这么少的数据上强行微调一个庞大的模型极容易产生过拟合——用个比喻就像只用五道题的答案去记忆一本教材然后发现考试时只会背答案而不会举一反三。冻结模型、只在顶层训练轻量模块是一种在小数据场景下保持泛化能力的成熟策略。五、轻量化的门控大脑有了768维的内容指纹之后研究团队并没有直接把它送进分类器而是先用一个轻量级的神经网络模块对它进行处理这个模块叫做门控多层感知机Gated MLP核心组件是SwiGLU模块。SwiGLU听起来很技术但背后的直觉其实相当清晰。普通的神经网络会把输入的所有信息都平等地向前传递但SwiGLU有一个门——它会根据内容决定哪些信息值得被放大传递、哪些信息应该被压制。在这个任务里直觉上这个门应该会学会放大那些反映图文交叉歧视信号的特征同时压制那些与性别歧视无关的内容特征比如表情包的美术风格。整个可训练部分只有350万个参数。作为参考GPT这类大模型动辄有数十亿甚至数千亿参数350万参数的模型训练起来非常快对计算资源的要求也极低。这种小而精的设计哲学贯穿了整个系统。六、层层递进的条件判断链研究团队系统最精妙的设计在于它如何处理三个任务之间的层级关系。整个系统可以用一个生活化的比喻来理解这像是一个三级法庭。第一级法院负责判决这件事是不是犯罪如果一审判决无罪案件就此终结二审和三审根本不会启动如果一审判有罪才会进入二审法院判断犯罪动机是主动还是被迫以及三审法院判断具体犯了哪几条罪。在技术实现上这种层级关系通过两种机制来保证。第一种叫做条件损失遮蔽在训练时对于那些被标注为无歧视的表情包第二和第三个分类头的损失函数会被掩盖掉不产生梯度更新。这样可以防止无歧视样本对犯罪动机和具体类型这两个分类器产生错误的训练信号。第二种是联合概率解码在推理时第二和第三个子任务的最终概率会乘以第一个任务的是否有歧视概率。这意味着如果一张表情包只有30%的可能性是有歧视的那么属于物化女性类别的概率也会按比例缩减而不是假装歧视是确定存在的。研究团队还额外测试了一种更激进的架构变体叫做分离软门控Detached Soft-Gating。在这个变体里第一个任务预测出来的歧视概率会直接与神经网络中间层的表示相乘作为一个实时的门来抑制非歧视内容在后续头部的激活。为了防止这个门的操作反过来干扰第一个任务的训练研究团队使用了停止梯度操作让乘法门不参与反向传播。这个变体作为第三个提交运行Run 3参与了评测。七、让AI学会表达不确定性这个系统还有一个极具特色的训练机制叫做同方差不确定性加权homoscedastic uncertainty weighting。三个子任务的难度差异很大收敛速度也不同——任务一相对简单任务三难度最高。如果对三个任务的损失函数用固定的权重求和就好比用同样的力气去拧大螺丝和小螺丝效果必然不理想。研究团队的解决方案是给每个任务的损失函数配一个可以自动学习的方差参数σ?。这个机制的工作原理很优雅当某个任务的损失居高不下时对应的σ?会自动增大从而减少这个难任务在总损失中的占比让模型不会因为一个特别难的任务而放弃其他任务与此同时公式中有一个log σ?的惩罚项防止σ?无限增大、彻底放弃某个任务。整个过程完全自动不需要人工去尝试各种权重组合。与此同时每个任务的分类头都使用KL散度Kullback-Leibler divergence作为损失函数而不是常见的交叉熵。KL散度专门用来衡量两个概率分布之间的差距——在这里就是衡量模型预测的标注者分布与真实标注者分布之间的差距。每次预测偏离真实分布KL散度就会产生惩罚推动模型去学习真实的分歧模式而不是简单地押注于多数意见。对于任务三的五个类别研究团队对每个类别单独计算二元KL散度然后取平均。八、训练细节与三次提交研究团队将训练数据按照8:1:1的比例划分为训练集、验证集和测试集划分时按照任务一的多数标签做分层采样确保三个子集中歧视/非歧视样本的比例一致。优化器选用了AdamW学习率设为0.0001权重衰减为0.01批大小为8。学习率调度采用OneCycleLR策略先用30%的训练步骤做预热让学习率从低到高逐渐爬升然后用余弦退火让学习率平滑下降至终点。训练过程使用了bf16混合精度并在验证集损失不再下降时提前停止。最终提交了三次运行Run 1和Run 2是使用不同随机种子训练的基础门控MLP模型Run 3是加入了分离软门控的变体。在推理阶段Soft-Soft轨道直接输出概率分布Hard-Hard轨道则以0.5为阈值做决策不进行任何任务特定的阈值调优。对于任务三如果所有类别概率都低于0.5即预测为有歧视但无具体类别则自动选择概率最高的那个类别以满足有歧视的表情包至少属于一个类别的本体论约束。九、比赛结果赢在最难的地方从本地测试集的评估结果来看三次运行之间存在明显的随机种子方差这在数据量小、标注分歧高的任务中是相当正常的现象。Run 2在任务三的软标签评估ICM-S Nr 0.3356上表现最好Run 1在任务二的软标签评估ICM-S Nr 0.4367上领先而Run 3的门控变体在任务二上取得了最高的ICM-S归一化得分ICM-S Nr 1.5426但整体表现与基础架构相当并没有显示出架构级的明显优势。这说明层级约束通过条件损失遮蔽和联合概率解码就能有效实现不需要额外的架构改造。在官方Soft-Soft排行榜上这支团队的三次提交在任务二·一上分别排名第4、5、6在任务二·二上排名第4、5、7在任务二·三上则包揽了前三名其中Run 2以ICM-Soft归一化得分0.3469位列第一。在官方Hard-Hard排行榜上三次提交在任务二·一上排名第14、18、19在任务二·二上排名第12、13、17在任务二·三上排名第8、9、13。软标签排名明显优于硬标签排名这完全在预料之中——这个系统从设计之初就是为了软标签预测而优化的硬标签解码只是在软标签概率上套了个简单的0.5阈值没有做任何专门的校准。这意味着如果针对硬标签任务做专项优化比如用验证集调整最优阈值排名还有相当大的提升空间。归根结底这项研究证明了一件事在判断那些模糊、主观、充满文化隐喻的表情包内容时与其训练一个自以为是的裁判不如训练一个诚实的概率统计员。用一个很小的可训练模型350万参数搭配一个冻结的强大翻译机不在有限的数据上强行微调庞然大物反而在最难的子任务上拿到了第一。这背后的逻辑不复杂数据不够多的时候谦逊比蛮力更有效。当然这个系统也有它诚实承认的不足。它依赖Gemini Embedding 2这个专有商业模型意味着其他研究者想要完全复现时会遇到障碍尽管模块化的架构设计让替换成开源模型变得相对容易。硬标签解码没有做任务特定的优化Hard-Hard结果不代表系统性能的上限。生理数据的非线性融合潜力也仍然是一个完全开放的探索方向——也许用更复杂的方式处理脑电和眼动数据真的能挖掘出传统线性方法看不见的信息。这些都留给了未来的研究者。QAQ1EXIST 2026比赛中的Soft-Soft评测轨道是什么意思ASoft-Soft评测轨道要求AI系统不是给出一个单一的是或否答案而是预测出一个概率分布反映有多少比例的标注者认为这张表情包有性别歧视。评测时系统预测的分布与真实标注者分布之间的差距越小得分越高。这种方式保留了真实世界中人类判断的模糊性和分歧信息而不是强行把所有问题变成非黑即白的决策。Q2Gemini Embedding 2在这个研究里扮演什么角色AGemini Embedding 2相当于一台万能翻译机能把图文混合的表情包转化成一个由768个数字组成的向量内容指纹。研究团队不对这个模型做任何修改只是借用它产生的向量然后在上面训练自己的轻量分类系统。这样做的原因是训练数据只有约4000张直接微调大模型容易过拟合。Q3脑电图数据为什么最终没有被用到模型中A研究团队对脑电数据做了严格的统计检验发现对于三个子任务中的两个脑电特征完全没有统计意义上的区分能力。对第二个子任务虽然有微弱的统计显著性但实际效应量极小且80个脑电通道在Bonferroni校正后无一存活。也就是说在当前的线性特征表示框架下脑电数据提供不了足够有用的判别信息团队因此选择放弃转而专注于语义特征。