多文化场景下的多模态情感识别

被引：10
作者：
陈师哲
王帅
金琴
机构：
[1] 中国人民大学信息学院
来源：
软件学报 | 2018年 / 29卷 / 04期
基金：
国家重点研发计划;
关键词：
情感识别; 多文化场景; 语音情感特征; 面部表情特征; 多模态融合; 深度卷积神经网络;
D O I：
10.13328/j.cnki.jos.005412
中图分类号：
TN912.34 [语音识别与设备]; TP181 [自动推理、机器学习];
学科分类号：
0711 ; 081104 ; 0812 ; 0835 ; 1405 ;
摘要：
自动情感识别是一个非常具有挑战性的课题,并且有着广泛的应用价值.探讨了在多文化场景下的多模态情感识别问题.从语音声学和面部表情等模态分别提取了不同的情感特征,包括传统的手工定制特征和基于深度学习的特征,并通过多模态融合方法结合不同的模态,比较不同单模态特征和多模态特征融合的情感识别性能.在CHEAVD中文多模态情感数据集和AFEW英文多模态情感数据集进行实验,通过跨文化情感识别研究,验证了文化因素对于情感识别的重要影响,并提出3种训练策略提高在多文化场景下情感识别的性能,包括:分文化选择模型、多文化联合训练以及基于共同情感空间的多文化联合训练,其中,基于共同情感空间的多文化联合训练通过将文化影响与情感特征分离,在语音和多模态情感识别中均取得最好的识别效果.
引用
收藏
页码：1060 / 1070
页数：11
相关论文
共 10 条
[1]   语音情感识别研究进展综述 [J].
韩文静 ;
李海峰 ;
阮华斌 ;
马琳 .
软件学报, 2014, 25 (01) :37-50
[2]  
基于语音和人脸的情感识别研究[D]. 张石清.电子科技大学. 2012
[3]  
多模态融合的情感识别研究[D]. 曹田熠.天津大学. 2012
[4]  
Funnel-structured cascade for multi-view face detection with alignment-awareness[J] . Shuzhe Wu,Meina Kan,Zhenliang He,Shiguang Shan,Xilin Chen.Neurocomputing . 2017
[5]  
Recognising realistic emotions and affect in speech: State of the art and lessons learnt from the first challenge[J] . Speech Communication . 2011 (9)
[6]  
Authentic facial expression analysis[J] . N. Sebe,M.S. Lew,Y. Sun,I. Cohen,T. Gevers,T.S. Huang.Image and Vision Computing . 2006 (12)
[7]   Emotion recognition through facial expression analysis based on a neurofuzzy network [J].
Ioannou, SV ;
Raouzaiou, AT ;
Tzouvaras, VA ;
Mailis, TP ;
Karpouzis, KC ;
Kollias, SD .
NEURAL NETWORKS, 2005, 18 (04) :423-435
[8]  
Facial expression recognition from video sequences: temporal and static modeling[J] . Ira Cohen,Nicu Sebe,Ashutosh Garg,Lawrence S. Chen,Thomas S. Huang.Computer Vision and Image Understanding . 2003 (1)
[9]   Context-independent multilingual emotion recognition from speech signals [J].
Vladimir Hozjan ;
Zdravko Kačič .
International Journal of Speech Technology, 2003, 6 (3) :311-320
[10]   Expert system for automatic analysis of facial expressions [J].
Pantic, M ;
Rothkrantz, LJM .
IMAGE AND VISION COMPUTING, 2000, 18 (11) :881-905
1