针对视频情感识别中存在运算复杂度高的缺点,提出一种基于时空局部二值模式矩(Temporal-Spatial Local Binary Pattern Moment,TSLBPM)的双模态情感识别方法。首先对视频进行预处理获得表情和姿态序列;然后对表情和姿态序列分别提取TSLBPM特征,计算测试序列与已标记的情感训练集特征间的最小欧氏距离,并将其作为独立证据来构造基本概率分配(Basic Probability Assignment,BPA);最后使用Dempster-Shafer证据理论联合规则得到情感识别结果。在双模态表情和姿态情感数据库上的实验结果表明,本文提出的时空局部二值模式矩可以快速提取视频图像的时空特征,能有效识别情感状态。与其他方法的对比实验也验证了本文融合方法的优越性。
针对静态表情特征缺乏时间信息,不能充分体现表情的细微变化,该文提出一种针对非特定人的动态表情识别方法:基于动态时间规整(Dynamic Time Warping,DTW)和主动外观模型(Active Appearance Model,AAM)的动态表情识别。首先采用基于局部梯度DT-CWT(Dual-Tree Complex Wavelet Transform)主方向模式(Dominant Direction Pattern,DDP)特征的DTW对表情序列进行规整。然后采用AAM定位出表情图像的66个特征点并进行跟踪,利用中性脸的特征点构建人脸几何模型,通过人脸几何模型的匹配克服不同人呈现表情的差异,并通过计算表情序列中相邻两帧图像对应特征点的位移获得表情的变化特征。最后采用最近邻分类器进行分类识别。在CK+库和实验室自建库HFUT-FE(He Fei University of Technology-Face Emotion)上的实验结果表明,所提算法具有较高的准确性。
