王静
- 作品数:4 被引量:6H指数:1
- 供职机构:安徽省气象信息中心更多>>
- 相关领域:自动化与计算机技术环境科学与工程更多>>
- 数值预报产品分布式处理与存储系统设计被引量:6
- 2018年
- 气象数值预报产品数据日益增长,传统的关系型数据库对其存储和管理能力不足,查询规模较大的历史数据时效率较低。针对上述问题,设计了分布式的数值预报产品处理与存储系统。通过Quartz任务调度定时采集数值预报产品文件;运用Kafka分布式消息队列解耦数值预报产品解码与入库程序;将解码日志文件、原始产品文件和解码得到的要素GRIB文件写入HDFS分布式文件系统,应用MapReduce分布式程序将解码日志记录存入HBase。因HBase对Rowkey的一级索引支持较好,而对多条件查询支持不足,需辅助Solr索引加以优化。HBase接收数据时自动触发协处理器同步记录到Solr索引库,实现了HBase的二级索引。测试结果表明,产品文件写入Hadoop文件系统平均速度为82.54 MB/s,而HBase最快入库速度可达每秒13 677条,数据检索结果返回时效达到毫秒级,能够满足业务应用中对数值预报产品存储和检索时效的要求。
- 王建荣华连生唐怀瓯王云王静
- 关键词:QUARTZHBASESOLR协处理器
- 一种气象数据运行监控值班管理系统
- 本实用新型实施例适用于气象运行监控技术领域,具体提供了一种气象数据运行监控值班管理系统,本实用新型实施例提供的运行监控值班管理系统,通过自动生成值班安排表,通过移动终端将值班安排推送至值班人员;值班提醒根据运行监控值班工...
- 陈菁菁邱康俊朱华亮孔芹芹张苗苗王云王静冯乙新吴智尧
- 安徽省空气负氧离子浓度数据的质量控制及其特征分析
- 负氧离子是以氧气分子吸附负电荷为主的小粒径负离子,具有消烟、除尘、改善空气结构等作用,并对人体具有良好的保健功能,在医学领域享有"空气维生素"的美誉。在环境评价系统中,空气负离子浓度被列为衡量空气质量优劣的重要指标。面对...
- 王云金素文陈菁菁张苗苗王静
- 关键词:日变化
- 文献传递
- 一种气象监控数据信息管理系统
- 本实用新型适用于气象监控预警领域,提供了一种气象监控数据信息管理系统,包括气象监控中心和多个气象数据采集终端,所述气象数据采集终端与所述气象监控中心之间通过通信模块进行原始气象数据的传输;所述气象监控中心包括第一数据存储...
- 陈菁菁邱康俊朱华亮孔芹芹张苗苗王云王静冯乙新吴智尧
- 文献传递