首页|基于因果干预的无偏面部动作单元识别

基于因果干预的无偏面部动作单元识别

扫码查看
原文链接
  • 万方数据
  • 维普
面部动作单元(Action Unit,AU)识别是计算机视觉与情感计算领域的热点课题.AU识别属于多标签二分类任务,目前面临着标签不均衡等挑战.现有的主流算法利用AU之间的关联,通过调整采样率和AU的权重来进行标签重均衡化.然而,这些方法仅仅使模型预测时从偏向出现频率高的标签转为偏向出现频率低的标签,并未解决偏置问题.根据出现频率的高低可将AU划分为头类和尾类,公平对待每一类是实现AU无偏识别的关键.本文引入因果推理理论,提出基于因果干预的无偏化方法(Causal Intervention for Unbiased facial action unit recognition,CIU),以解决多AU间不均衡的问题.通过调整不平衡域和平衡但不可见域上的经验风险实现模型的无偏性.大量实验结果表明,本方法在基准数据集BP4D、DISFA上超越已有的方法,其中在DISFA上超越当前最先进方法1.1%,且可以学习到无偏的特征表示.
Causal Intervention for Unbiased Facial Action Unit Recognition
Facial action unit(AU)recognition is a hot topic in the fields of computer vision and affective computing.AU recognition is a multi-label binary classification task,and currently faces challenges such as label imbalance.Most exist-ing methods re-balance labels by adjusting the sampling rate and weights of AUs based on the correlations among AUs.However,these methods only shift the model's prediction bias from high-frequency labels to low-frequency ones,and the bias is still unresolved.Fair treatment of each AU class,including the head and tail classes,is the key to achieve unbiased AU recognition.By introducing causal inference theory,we propose an unbiased AU recognition method CIU(Causal Inter-vention for Unbiased facial action unit recognition),which adjusts the empirical risks in both the imbalanced and balanced but invisible domains to achieve model unbiasedness.Extensive experiments demonstrate that our method outperforms state-of-the-art methods on BP4D and DISFA benchmarks,in which 1.1%margin over previous best method is achieved on DIS-FA,and can learn unbiased feature representation.

causal inferenceunbiasednessfacial action unit recognitionmulti-label binary classificationlabel im-balanceempirical risk

邵志文、陈必宽、祝汉城、周勇、姚睿、马利庄

展开 >

中国矿业大学计算机科学与技术学院,江苏 徐州 221116

矿山数字化教育部工程研究中心,江苏 徐州 221116

上海交通大学计算机科学与工程系,上海 200240

华东师范大学计算机科学与技术学院,上海 200062

展开 >

因果推理 无偏性 面部动作单元识别 多标签二分类 标签不均衡 经验风险

国家自然科学基金国家自然科学基金国家自然科学基金国家自然科学基金国家自然科学基金江苏省自然科学基金江苏省自然科学基金上海市"科技创新行动计划"中国博士后科学基金香江学者计划

6210626862101555622724616217241772192821BK20210488BK20201346215111012002023M732223XJ2023037

2024

10.12263/DZXB.20240279

电子学报
中国电子学会

电子学报

CSTPCD北大核心
影响因子：1.237
ISSN：0372-2112
年,卷(期)：2024.52(10)