柳欣
- 作品数：35 被引量：55H指数：4
- 供职机构：华侨大学计算机科学与技术学院更多>>
- 发文基金：国家自然科学基金福建省自然科学基金高层次人才科研启动基金更多>>
- 相关领域：自动化与计算机技术理学社会学经济管理更多>>
- 结合双流网络和双向五元组损失的跨人脸-语音匹配
- 2022年
- 面部视觉信息和语音信息是人机交互过程中最为直接和灵活的方式,从而基于智能方式的人脸和语音跨模态感知吸引了国内外研究学者的广泛关注.然而,由于人脸-语音样本的异质性以及语义鸿沟问题,现有方法并不能很好地解决一些难度比较高的跨人脸-语音匹配任务.提出了一种结合双流网络和双向五元组损失的跨人脸-语音特征学习框架,该框架学到的特征可直接用于4种不同的跨人脸-语音匹配任务.首先,在双流深度网络顶端引入一种新的权重共享的多模态加权残差网络,以挖掘人脸和语音模态间的语义关联;接着,设计了一种融合多种样本对构造策略的双向五元组损失,极大地提高了数据利用率和模型的泛化性能;最后,在模型训练中进行ID分类学习,以保证跨模态表示的可分性.实验结果表明,与现有方法相比,能够在4个不同跨人脸-语音匹配任务上取得效果的全面提升,某些评价指标效果提升近5%.
- 柳欣王锐钟必能王楠楠
- 结合有监督联合一致性自编码器的跨音视频说话人标注被引量：2
- 2018年
- 跨模态说话人标注旨在利用说话人的不同生物特征进行相互匹配和互标注,可广泛应用于各种人机交互场合。针对人脸和语音两种不同模态生物特征之间存在明显的"语义鸿沟"问题,该文提出一种结合有监督联合一致性自编码器的跨音视频说话人标注方法。首先分别利用卷积神经网络和深度信念网络分别对人脸图像和语音数据进行判别性特征提取,接着在联合自编码器模型的基础上,提出一种新的有监督跨模态神经网络模型,同时嵌入softmax回归模型以保证模态间和模态内样本的相似性,进而扩展为3种有监督一致性自编码器神经网络模型来挖掘音视频异构特征之间的潜在关系,从而有效实现人脸和语音的跨模态相互标注。实验结果表明,该文提出的网络模型能够有效的对说话人进行跨模态标注,效果显著,取得了对姿态变化和样本多样性的鲁棒性。
- 柳欣李鹤洋钟必能钟必能
- 一种结合双特征的运动捕获数据行为分割方法被引量：3
- 2013年
- 运动捕获数据行为分割的目的是将长序列数据划分为单个运动类型短片段的序列集合,使集合中每个片段具有特定的运动语义。针对相邻运动片段的过渡区间存在部分运动帧序列的语义归属歧义,提出了一种结合双特征的运动捕获数据行为分割方法。该方法首先从原始数据中提取角度和距离两组不同类型的运动特征集,并分别基于PPCA方法构建规格化的综合特征函数;然后利用子区间标准差阈值限定方法分别对综合特征函数进行粗分割,从而将运动捕获数据划分为若干具有独立语义特性的可信区域与待定区域;最后采用高斯混合模型方法判别待定区域的具体归属,从而得到最终的分割结果。实验结果表明,该算法能对模糊歧义区域进行细分割,具有较好的分割效果。
- 彭淑娟柳欣
- 一种结合视频人脸和数字唇动密码的身份验证方法
- 本发明涉及视频图像处理与模式识别技术领域，提供了一种结合视频人脸和数字唇动密码的身份验证方法，主要步骤如下：1)进行人脸区域检测和唇部区域定位预处理；2)利用Gabor滤波进行人脸特征提取并进行视频人脸身份验证；3)唇部...
- 柳欣张晓明彭淑娟王靖
- 文献传递
- 分段式低秩逼近的运动捕获数据去噪方法被引量：2
- 2013年
- 运动捕获数据去噪旨在从含有噪声干扰的运动数据中恢复出能够较好表达原始数据特性的帧序列。针对人体运动捕获数据在较短时间段内的帧序列常常具有相同或相似的运动行为语义的特点,提出了一种分段式低秩逼近策略的运动捕获数据去噪方法。该方法首先将含有噪声的运动数据划分为多个连续子区间,接着利用不精确拉格朗日乘子法(IALM)对每个分段子区间的含噪声干扰数据批矩阵进行低秩矩阵逼近和稀疏噪声误差估计,达到分段数据去噪目的;最后利用时序特性组合去噪后的分段低秩逼近矩阵进行整体运动捕获数据去噪恢复。仿真实验结果表明,所提方法能够对含有任意拓扑结构的人体运动捕获数据进行去噪,达到了很好的效果,具有一定的通用性和实用性。
- 彭淑娟柳欣崔振郑光
- 结合模糊聚类和投影近似点算法的缺失人体运动捕捉数据重构被引量：3
- 2015年
- 针对人体运动捕捉数据缺失问题,提出一种结合模糊聚类和投影近似点算法的缺失数据重构恢复方法.首先对不完整运动序列矩阵的缺失数据位置进行线性插值预处理,粗略补全矩阵以得到较完整的运动序列;然后利用模糊C-均值算法将粗略恢复后的复杂人体运动数据细分为含有多个不同语义运动片段的时序组合;再根据相同运动语义片段数据矩阵存在低秩特性,对细分后相应的各原始运动子片段采取投影近似点算法进行缺失数据恢复,并按照运动片段的时序特性进行组合;最后将原有未缺失数据与其相应位置重构恢复后的数据进行置换,根据人体运动轨迹的局部线性特性进行线性平滑,以保证运动序列的连贯性,从而达到对整体运动捕捉数据重构恢复目的.实验结果表明,该方法能够有效地对缺失运动数据进行恢复,使得重构后的运动序列能够较好地逼近于真实运动轨迹,准确度较高.
- 赫高峰彭淑娟柳欣钟必能
- 关键词：模糊C-均值线性插值
- 基于张量低秩恢复和块稀疏表示的运动显著性目标提取被引量：11
- 2014年
- 针对视频的高维结构特性,采用张量表征并将运动显著性目标提取转化为基于低秩张量恢复和块稀疏表示问题.首先根据背景张量的低秩性和运动目标的稀疏性,利用加速近端梯度张量恢复方法分别重建出RGB颜色通道中三维视频张量的低秩部分与稀疏部分,初步实现背景与运动目标的粗略分离;其次组合三颜色通道稀疏张量并转化为按照帧数展开的二维矩阵,进一步通过矩阵恢复的方法去除动态背景产生的小稀疏块干扰;最后通过自适应阈值法选择运动目标稀疏块掩模并对存在的空洞进行填充补偿,以达到重构出完整前景运动目标的目的.相对于常用方法,该方法从张量模型角度解决运动目标提取问题,较大程度地保护了视频序列的原始空间结构,不仅能够降低运动目标提取区域出现的漏检问题,而且可以很好地去除动态背景所带来的干扰.实验结果表明,该方法对运动目标提取的准确度较高,鲁棒性较强.
- 柳欣钟必能张茂胜崔振
- 关键词：运动目标提取自适应阈值
- 人体运动生成中的深度学习模型综述被引量：5
- 2018年
- 人体运动捕捉中复杂的时空结构信息使其在数据驱动角色动画、序列拼接和风格融合等运动生成研究领域极具挑战性.聚焦于深度学习在计算机图形学中所获得的巨大成功,首先从模型结构和理论优化2个方面对运动捕捉数据中人体骨骼动画生成所使用的4类生成式深度学习模型(受限玻尔兹曼机、循环神经网络、卷积神经网络、深度强化学习)及其混合学习方法进行全面概括和总结;接着探讨这些典型深度学习模型对人体骨骼运动数据时空特征提取的能力,并量化对比其在不同生成任务中的实验效果;最后深入分析各种深度模型的优势及亟待解决的难题,并对新型深度学习模型在运动生成中的发展趋势进行了展望.
- 彭淑娟周兵周兵柳欣
- 关键词：角色动画
- 批处理混合对比学习的跨模态情绪异常检测方法和装置
- 本发明提供批处理混合对比学习的跨模态情绪异常检测方法和装置，涉及情绪检测技术领域。包含：S1、获取待检测情绪对象的语音数据和面部视频数据。S2、采用标准的Facet方法从面部视频数据中提取对话过程中的初始面部情绪特征。S...
- 柳欣陈琦妍彭淑娟王靖
- 融合骨架笔画和纹理特征的铅笔画生成方法和装置
- 本发明中的一种融合骨架笔画和纹理特征的铅笔画生成方法和装置，该铅笔画生成装置包括原始图像获取单元、灰度图像生成单元、梯度图像生成单元、骨架笔画图层生成单元、色调图层生成单元、纹理特征渲染图层生成单元、和铅笔画图像生成单元...
- 柳欣张鹤彭淑娟杜吉祥范文涛
- 文献传递
