目的多层特征对于显著性检测具有重要作用,多层特征的提取和融合是显著性检测研究的重要方向之一。针对现有的多层特征提取中忽略了特征融合与传递、对背景干扰信息敏感等问题,本文基于特征金字塔网络和注意力机制提出一种结合空间注意力的多层特征融合显著性检测模型,该模型用简单的网络结构较好地实现了多层特征的融合与传递。方法为了提高特征融合质量,设计了多层次的特征融合模块,通过不同尺度的池化和卷积优化高层特征和低层特征的融合与传递过程。为了减少低层特征中的背景等噪声干扰,设计了空间注意力模块,利用不同尺度的池化和卷积从高层特征获得空间注意力图,通过注意力图为低层特征补充全局语义信息,突出低层特征的前景并抑制背景干扰。结果本文在DUTS,DUT-OMRON(Dalian University of Technology and OMRON Corporation),HKU-IS和ECSSD(extended complex scene saliency dataset) 4个公开数据集上对比了9种相关的主流显著性检测方法,在DUTS-test数据集中相对于性能第2的模型,本文方法的最大F值(MaxF)提高了1.04%,平均绝对误差(mean absolute error,MAE)下降了4.35%,准确率—召回率(precision-recall,PR)曲线、结构性度量(S-measure)等评价指标也均优于对比方法,得到的显著图更接近真值图,同时模型也有着不错的速度表现。结论本文用简单的网络结构较好地实现了多层次特征的融合,特征融合模块提高了特征融合与传递质量,空间注意力模块实现了有效的特征选择,突出了显著区域、减少了背景噪声的干扰。大量的实验表明了模型的综合性能以及各个模块的有效性。
基于与人交互的物体对人体行为识别的重要作用,本文提出了融合交互物体和能量信息等特征的三维复杂人体识别方法.首先提取手持物体的Hu矩作为交互物体特征,然后根据人体行为的生物学和运动学特征,从人体运动的能量角度提取人体骨架动能、姿态势能、关节点位置等构建了局部特征矩阵,并聚类为词袋(Bag Of Word,BOW),与交互物体特征构成最终的组合特征;为了自动分割交互物体,我们提出了基于Harris角点的种子区域生长法,快速完整地分割手持物体;最后利用RBFSVM方法进行人体行为识别.实验结果表明融合交互物体信息和能量特征的三维人体行为识别方法具有较高的识别率,尤其能够较大幅度降低易混淆复杂动作的误识别率.
