张钧波
- 作品数：13 被引量：29H指数：3
- 供职机构：西南交通大学更多>>
- 发文基金：国家自然科学基金中央高校基本科研业务费专项资金四川省科技支撑计划更多>>
- 相关领域：自动化与计算机技术更多>>
- Hadoop的小图片处理技术及其在人脸特征提取上的应用被引量：6
- 2015年
- 人脸识别算法作为一种较流行的生物识别技术,受到各界人士的关注.随着人脸识别技术商业化的不断推进,越来越多的应用场景面临实时性的要求.如何对海量人脸图像快速处理显得格外重要.Hadoop是为处理大数据而设计,在数据密集型大数据处理上取得了良好成绩.但它能否应对I/O密集型图像数据(海量人脸小图像)带来的挑战,还值得探究.以人脸识别的重要阶段特征提取为例,根据人脸图片特点,结合MapReduce模型和Hadoop组合分片方法,设计并实现基于Hadoop的人脸特征提取方法,并分析Hadoop用于处理海量小图像文件时的性能.实验证明,Hadoop对海量小图像文件的处理表现良好.
- 余征龚勋李天瑞张钧波
- 关键词：HADOOP大数据
- 不同MapReduce运行系统的性能测试与分析被引量：3
- 2015年
- 随着云计算技术的发展,许多MapReduce运行系统被开发出来,如Hadoop、Phoenix和Twister等。直观上,Hadoop具有很强的可扩展性、稳定性,适合处理大规模离线应用;Phoenix具有运行速度快等优点,适合处理数据密集型任务;Twister是轻量级的迭代系统,非常适合迭代式的应用。不同的应用在不同的MapReduce运行系统中有着不同的性能。通过测试不同应用在这些运行系统上的性能,给出了实验比较和性能分析,从而为大数据处理时选择合适的并行编程模型提供依据。
- 易修文李天瑞张钧波滕飞
- 关键词：云计算MAPREDUCEHADOOPPHOENIXTWISTER
- 云平台下基于粗糙集的并行增量知识更新算法被引量：11
- 2015年
- 日益复杂和动态变化的海量数据处理,是当前人们普遍关注的问题,其核心内容之一是研究如何利用已有的信息实现快速的知识更新.粒计算是近年来新兴的一个研究领域,是信息处理的一种新的概念和计算范式,主要用于描述和处理不确定的、模糊的、不完整的和海量的信息,以及提供一种基于粒与粒间关系的问题求解方法.作为粒计算理论中的一个重要组成部分,粗糙集是一种处理不确定性和不精确性问题的有效数学工具.根据云计算中的并行模型Map Reduce,给出了并行计算粗糙集中等价类、决策类和两者之间相关性的算法;然后,设计了用于处理大规模数据的并行粗糙近似集求解算法.为应对动态变化的海量数据,结合Map Reduce模型和增量更新方法,根据不同的增量策略,设计了两种并行增量更新粗糙近似集的算法.实验结果表明,该算法可以有效地快速更新知识;而且数据量越大,效果越明显.
- 张钧波李天瑞潘毅罗川滕飞
- 关键词：云计算MAPREDUCE粗糙集
- 云计算环境下基于粗糙集的增量MapReduce知识更新算法
- 日益复杂和动态变化的海量数据处理是当前人们普遍关注的问题,其核心内容之一是研究如何利用已有的信息实现快速的知识更新.云计算是近年来新兴起的一个研究领域,是信息处理的一种新的概念和计算范式,主要用于描述和处理不确定的、模糊...
- 张钧波李天瑞罗川滕飞
- 关键词：海量数据信息处理云计算粗糙集
- 文献传递
- ST-WaveMLP:面向交通流量预测的时空全局感知网络模型
- 2024年
- 交通流量预测在智能交通系统中起着至关重要的作用。精准的交通流量预测不仅能帮助城市管理者进行更好的交通管理,也能帮助人们制定合适的出行计划。然而精准预测交通流量颇具挑战性,主要难点在于如何捕获交通流量数据中复杂的时空依赖性。近年来,深度学习方法已被成功应用于网格交通流量预测,主要采用深度卷积神经网络来捕获时空依赖性。但是卷积神经网络主要关注数据中空间特征的提取与整合,难以充分挖掘其中复杂的时空依赖性,而且单层卷积网络只能捕获局部空间依赖,因此,要想捕获全局空间依赖就需要对超多层的卷积网络进行堆叠,这将使整个网络模型训练收敛速度变慢。为了解决些问题,提出了一种面向交通流量预测的全局感知时空网络模型ST-WaveMLP,主要使用以多层感知机(MLP)为基础的可重复结构ST-WaveBlock来捕获相关的时空依赖。ST-WaveBlock中包含了捕获全局空间依赖和局部时间依赖的模块(SGAC),以及用于捕获局部空间依赖和全局时间依赖的模块(SLAC)。ST-WaveBlock具有较强的时空表征学习能力,通常仅用2~4个ST-WaveBlock堆叠就能有效捕获数据中的时空依赖性。最后,在4个实际交通流量数据集上进行实验验证,结果表明ST-WaveMLP具有更好的收敛性以及更高的预测精度,相较于之前最好的方法,所提方法预测精度的提升最高可达9.57%,模型收敛速度的提升最高可达30.6%。
- 包锴楠张钧波宋礼李天瑞
- 关键词：交通流量预测时空数据挖掘
- Hadoop的小图片处理技术及其在人脸特征提取上的应用
- 人脸识别算法作为一种较流行的生物识别技术,受到各界人士的关注.随着人脸识别技术商业化的不断推进,越来越多的应用场景面临实时性的要求.如何对海量人脸图像快速处理显得格外重要.Hadoop 是为处理大数据而设计,在数据密集型...
- 余征龚勋李天瑞张钧波
- 关键词：HADOOP大数据
- C4S2-094:基于MapReduce的高铁噪声数据预处理算法研究
- 高速铁路的快速发展,安全问题受到越来越大的关注,传感器采集的噪声数据反映了列车的运行状况,并与列车的安全息息相关.随着数据集的增大,数据处理的效率显得尤为重要,目前还无法高效地处理海量的噪声数据.本文利用了并行计算的思想...
- 王仲刚李天瑞张钧波赵成兵高子喆
- 关键词：噪声高速铁路MAPREDUCEHADOOP
- 特性关系粗糙集中对象变化时近似集增量更新方法研究
- 2012年
- 特性关系信息系统是一般信息系统的推广模型,仅满足自反性,具有同时处理不完备信息系统中的丢失数据和不关心数据的功能。在实际应用中,信息系统随着对象的变化而不断地动态变化。研究了在特性关系粗糙集模型下单个对象增加和删除时近似集变化的规律,提出了相应的增量更新算法并给予了实验验证。
- 周秋山李天瑞陈红梅张钧波
- 关键词：粗糙集不完备信息系统
- 基于深度多视图网络的政务事件分拨方法
- 2024年
- 12345政务服务便民热线是由各地市政府设立的专门受理热线事项的公共服务平台。随着政府信息化进程的推进,12345热线作为市民与政府交流纽带的重要性大大提高,并对事件处置的效率提出了更高的要求。针对传统事件分拨方法主要依赖于分拨人员人工操作、速度较慢、准确率不高,且需要消耗大量人力资源的问题,文中提出了一种基于深度多视图网络的政务事件分拨方法。首先,通过自监督学习训练带权重的图卷积神经网络,从历史记录中抽取事件归口-分拨部门的分拨行为特征作为事件的归口视图。其次,使用经过政务领域语料微调的BERT模型,提取事件描述与事件标题的语义特征,得到事件的语义视图。然后,使用基于交叉注意力机制的残差网络,将事件的两种视图融合,得到事件的融合表征。最后,将融合表征输入分类器,得到事件分拨的结果。在南通市12345热线的数据集上进行实验,结果表明,所提方法在各项指标上均优于其他基线方法,能够有效提高事件分拨的效率。
- 李子琛易修文陈顺张钧波李天瑞
- 关键词：文本分类
- 复合有序信息系统被引量：1
- 2014年
- 优势关系粗糙集模型是粗糙集的一种扩展模型,能够处理具有偏好信息的多准则决策问题.有序信息系统中的数据处理与知识获取是优势关系粗糙集模型的重要应用之一.现实应用中,一个有序信息系统中可能存在多种类型的数据,在不同属性上对象之间也可能存在各种不同的优势关系.基于此,在充分考虑各种不同类型的数据上可能具有不同优势关系的基础上,提出一种新的集成不同优势关系的复合优势关系,定义了基于此关系下的复合有序信息系统,并建立了复合优势关系粗糙集模型.最后,利用矩阵运算能够较直观地体现构造化方法的特点,通过优势关系的矩阵表示和矩阵的相关运算,给出了该模型中上、下近似集的矩阵计算方法,并通过实例对该方法的有效性进行了验证.
- 罗川李天瑞陈红梅张钧波
- 关键词：粗糙集矩阵运算
