赵成兵
- 作品数：2 被引量：5H指数：1
- 供职机构：西南交通大学信息科学与技术学院更多>>
- 发文基金：“十一五”国家科技支撑计划更多>>
- 相关领域：自动化与计算机技术更多>>
- 基于MapReduce的高铁振动数据预处理被引量：5
- 2012年
- 从高铁数据中分析得到高速列车的运行状况对保障高铁安全至关重要.列车的振动数据就是其中之一,这些振动数据是通过多个传感器以一定的采样频率得来的.一个1～2d的测试实验将得到GB以上的数据,因此振动数据分析之前的预处理过程必不可少,包括异常点处理、消除线性趋势项等.异常点处理是指先用通用规则发现异常点,并用其邻近的数据点来恢复它的值.线性趋势项是指测试设备的原因使得采集的数据有一个线性的偏移,不处理偏移,则误差将会进一步累积.传统的振动数据预处理方法是顺序逐个处理文件,处理时间长,不能满足要求,且受内存的限制不能处理大文件.本文旨在提高振动数据的预处理效率,在研究现有高铁振动数据预处理方法和MapReduce机制的基础上,实现了包括异常点处理,线性趋势项消除方法的并行化,并在Hadoop平台上实现.同时设计了实验来验证方法的有效性和并行结果的一致性.实验在含6个节点(1个Master,5个Slaves)的集群上进行,实验结果表明所提出的方法可以处理大数据文件而且提高了处理效率.而且三个并行计算性能评价指标Speedup,Scaleup,Sizeup的实验结果也显示出本方法的优越性.
- 赵成兵李天瑞王仲刚高子喆
- 关键词：并行化MAPREDUCE高铁振动预处理
- C4S2-094:基于MapReduce的高铁噪声数据预处理算法研究
- 高速铁路的快速发展,安全问题受到越来越大的关注,传感器采集的噪声数据反映了列车的运行状况,并与列车的安全息息相关.随着数据集的增大,数据处理的效率显得尤为重要,目前还无法高效地处理海量的噪声数据.本文利用了并行计算的思想...
- 王仲刚李天瑞张钧波赵成兵高子喆
- 关键词：噪声高速铁路MAPREDUCEHADOOP
