张来恩
- 作品数:13 被引量:36H指数:3
- 供职机构:国家气象信息中心更多>>
- 相关领域:天文地球电子电信自动化与计算机技术农业科学更多>>
- 基于Storm的海量气象观测数据处理方法和装置
- 本发明公开了一种基于Storm的海量气象观测数据处理方法和装置,属于气象信息处理领域。本发明设计了新的STORM处理框架,可以直接对接RabbitMQ的BUFR格式消息,减少了从传输到入库的中间环节,实现了数据即来即处理...
- 肖卫青薛蕾刘振王颖郭萍张来恩韩书丽王佳强李媛翯霍庆高峰陈士旺何文春
- 气象自动站标准格式数据消息传输方法、装置及设备
- 本发明公开了一种气象自动站标准格式数据消息传输方法、装置及设备,涉及气象数据传输技术领域,该方法包括基于数据标准编码格式规范,台站地面综合观测业务软件将国内气象观测数据封装为BUFR数据文件,并将所述BUFR数据文件写入...
- 张来恩顾文静戴晴薛蕾高峰何文春孙超韩鑫强王鹏王颖王博王怀乐金培文
- GTS多格式探空报文实时转换方法和装置
- 本发明公开了一种GTS多格式探空报文实时转换方法和装置,属于气象信息处理领域。本发明对GTS多格式探空报文进行解码入库,根据设置的数据整合规则,进行数据整合,发现并整合相应的重复数据,发现并保留各自独有的数据。本发明设置...
- 肖卫青郭萍刘振韩书丽王颖薛蕾霍庆张来恩王佳强
- 基于雷达流的虚拟体扫数据生成方法和装置
- 本发明公开了一种基于雷达流的虚拟体扫数据生成方法和装置,属于气象信息处理领域。本发明提出了虚拟体扫数据的技术,将仰角数据与体扫基数据有机结合,将最新的仰角数据融入体扫基数据,从而获得与仰角数据实时同步的虚拟体扫数据供应用...
- 刘振肖卫青韩鑫强韩丰郭萍薛蕾张来恩戴晴韩书丽李媛翯王颖王博霍庆何文春高峰陈士旺
- 基于大数据技术的气象业务监视数据采集处理被引量:12
- 2021年
- 气象数据生产过程中秒级数据流量达到6万次/秒,为了对海量气象数据进行实时监控,快速定位数据观测、传输、处理、服务全流程中各环节故障,研发了对监视数据的采集和处理框架。基于REST接口和Flume框架实时采集原始监视信息,采用Kafka实现监视数据流的缓冲和持久化存储,在Spark Streaming流式计算平台上实现对监视数据的预处理、指标计算,并对告警事件进行归并、压缩等处理,最终生成面向运维人员的告警。同时、上述系统采用故障仿真压测技术,对系统可能出现的故障进行了模拟压力测试。实验结果表明,上述框架能有效地解决海量监视数据的高效采集和处理,能够实时捕捉故障并进行有效分析与排除,其处理时效和准确性满足气象综合业务实时监控的需求。
- 曾乐孙超张来恩陈文琴
- 关键词:接口
- 统一规范的气象观测数据传输客户端的设计与实现
- 2024年
- 随着国内气象观测技术的不断发展,观测设备种类和数量不断增加,同时数值模式预报及实况业务对观测数据传输时效和质量有了更高的要求。目前地面、高空和雷达等测站端所用传输软件种类多样,传输稳定性、完整性和时效性无法得到保障。为此,设计开发了传输客户端软件,统一了从测站至省级的数据传输标准,规范了与观测系统的接口及数据传输流程。软件具备高可靠、可扩展、易维护等特性,针对不同特点的观测数据设计不同传输协议,为气象“云+端”业务技术体制建设提供“直传入云”的应用软件支撑。软件已在全国2400个国家级地面气象自动观测站和600个农气观测站进行部署,传输时效性和完整性有大幅度提高。
- 张来恩戴晴薛蕾王立柱
- 地面气候月报编报软件的设计与实现
- 2015年
- 地面气候月报是世界气象组织规定需要编发并通过国际通信系统进行国际交换的一类气象报告,报告中编发的数据对气象及气候应用有重要作用。根据中国气象局的业务改革发展规划,地面气象观测站取消编报业务后,为了保证国际应用上和气候相关的变量能够保持无间断地监控,在国家级需依托已有业务资源,完成地面气候月报的编报。在此研究了新的业务流程下地面气候月报编报算法的编制及软件框架的设计,并介绍了软件开发及应用部署情况。
- 韩书丽谭小华韩鑫强张来恩
- 气象自动站标准格式数据消息传输方法、装置及设备
- 本发明公开了一种气象自动站标准格式数据消息传输方法、装置及设备,涉及气象数据传输技术领域,该方法包括基于数据标准编码格式规范,台站地面综合观测业务软件将国内气象观测数据封装为BUFR数据文件,并将所述BUFR数据文件写入...
- 张来恩顾文静戴晴薛蕾高峰何文春孙超韩鑫强王鹏王颖王博王怀乐金培文
- 地面自动气象站数据流式处理设计与实现
- 2024年
- 针对观测密度和频次日益增加的海量地面自动气象站数据,在气象大数据云平台(天擎)中设计了基于Storm的实时流式处理,利用大规模并行处理的优势提高地面自动气象站数据的处理时效。在流式处理中,设计处理拓扑直接解码标准格式的数据消息;消息确认采用手工确认的方式,将数据解码组件锚定数据接入组件,实现每条数据的可靠处理;数据解码时进行字节校验和时间检查等,过滤异常数据;应用批量加定时的发送策略,解决海量监控信息发送气象综合业务实时监控系统(天镜)的问题;集群部署时保留部分剩余资源,有效应对单节点异常。应用效果表明:国家气象站小时数据的服务时效由全国综合气象信息共享系统(CIMISS)的175 s提高至天擎的78 s,约6×10^(4)个区域气象站小时数据的服务时效由CIMISS的5 min提高至天警的2 min,实况分析系统将数据源切换至天擎后,相同时间检索可获取的站点数量较CIMISS增加1倍。2021年12月基于Storm的流式处理与天擎一同在国省业务化运行,实现了长期稳定运行,为MICAPS4、SWAN2.0、实况分析系统等用户提供高效稳定的地面自动气象站数据。
- 肖卫青薛蕾刘振罗兵王颖张来恩郭萍霍庆韩书丽何文春
- 关键词:地面自动气象站STORM
- 新一代天气雷达数据流重传机制设计与实现被引量:9
- 2018年
- 在雷达径向数据(一个径向数据表示雷达在一个方位角的一组观测数据,包括回波强度、径向速度、速度谱宽等数据)从雷达站经由省级转发至国家级的试验流程中,存在由于网络等原因导致的径向数据丢失的情况。通过分析雷达径向数据传输现状和径向数据丢失原因,设计多种数据包格式,制定重传策略和处理逻辑,规范了雷达站、省级和国家级之间的重传通信协议。经全国范围试验,验证数据流重传机制可以有效地避免数据丢失问题,保障雷达数据传输的完整性。
- 韩鑫强薛蕾王博张来恩
- 关键词:流传输