公共文化服务平台

海量异构科技文献信息资源的非结构化存储研究被引量：5: 2018年; 在大数据环境下,科技文献信息资源具有分散、异构、动态、海量等特性,为解决传统关系型数据库存储这些数据时面临的不易扩展、性能较低等难题,进行了以非关系型数据库为核心的异构科技文献信息资源存储研究。形式化描述科技文献资源的结构;在此基础上研究非关系型数据库存储异构文献信息资源的可行性数据模式;结合科技文献信息资源的特点设计面向异构资源的No SQL(Not Only SQL)适配器来融合现有存量信息资源。实验验证了No SQL适配器的高效性以及非关系型数据库存储科技文献信息资源时的可行性、高性能以及高扩展性。; 李鹏程刘应波王锋文若瑾; 关键词：元数据资源服务可扩展性

基于Web.py的MUSER软件系统界面实现被引量：2: 2017年; 明安图射电频谱日像仪(Mingantu Ultrawide Sp Ectral Radioheliograph,MUSER)已经完成硬件建设,与之配套的数据处理系统也初步开发完成。为提高用户操作的可用性,简化操作难度,数据处理系统在提供传统的命令行用户界面的同时,也提供了网络交互方式。简单介绍了Web.py的基本概念和内部组件交互流程,讨论了基于Web.py进行网络开发的方法和流程,并利用Web.py框架实现了数据处理系统的网络界面交互。成果已经应用,提高了日像仪数据处理系统的可用性,也为其它天文软件系统的开发提供了一定的借鉴与参考价值。; 蔡能健刘东浩邓辉卫守林王锋梅盈戴伟刘应波吴静平; 关键词：用户界面

分布式存储中冗余数据快速恢复方法及装置: 本发明提供一种分布式存储中冗余数据快速恢复方法及装置，其中方法包括：读取配置文件，配置文件包括与存储数据服务器一一对应的存储服务器编号和存储服务器IP地址；判断存储服务器IP地址所对应的存储数据服务器是否发生异常，若是，...; 刘应波王锋邓辉; 文献传递

基于Paxos的强一致性复制在天文数据存储中的应用研究被引量：1: 2019年; 随着新一代天文观测技术的快速发展,观测设备所获得的科学数据迅猛增长,传统的外挂式存储设备已经难以满足海量观测数据的近实时存储和同步数据处理的需求。基于廉价硬件的分布式存储系统是解决当前天文观测数据存储的有效手段。由于廉价硬件节点发生故障的概率相对较高,为了确保科学观测和数据的可靠存储,提出了一种基于Paxos的改进的分布式软件多副本复制算法。实验表明,在针对大于1 MB的天文FITS图像文件存储过程中,算法虽然增加少量的存储延迟,但能够容忍多种软硬件异常下多个副本的强一致性,较好地解决当前海量天文数据存储中的多副本数据存储的一致性问题。; 童彬王锋刘应波刘应波; 关键词：分布式存储

分布式检索在异构科技信息资源中的应用及优化被引量：5: 2017年; 为解决使用传统集中式检索处理海量异构科技信息资源时存在单点故障、性能低、不易扩展等问题,提出一种在异构科技资源下应用的分布式高性能检索系统(DHRS),并对其核心技术进行重点研究和分析。针对检索结果资源访问开销大的问题,给出基于访问代价的评估算法。并结合实际应用场景对算法进行优化,优化后请求数减少了80%,实验环境下的性能平均提高了68%。同时通过真实数据集的测试,验证了DHRS检索海量科技资源的可行性,能够适用于对检索和扩展性能要求较高的场景。; 李城童彬刘应波刘应波邬平文若瑾陈亚杰; 关键词：科技资源分布式检索海量数据异构资源

分布式海量数据处理方法及装置: 本发明提供一种分布式海量数据处理方法及装置，包括：向元数据服务器发送索引请求；接收元数据服务器返回的可用服务器列表；对待索引的原始数据进行拆分，以获得拆分后的分块数据，并为分块数据分配数字编号；以分块数据的分块信息为键值...; 王锋刘应波邓辉; 文献传递

基于NoSQL的FITS文件头元数据存储和查询研究被引量：5: 2015年; 随着大型天文望远镜的投入使用,观测台站正面临PB量级的海量数据存储、快速检索难题;同时由于在数据检索中起着关键作用的FITS文件头的可变性,导致难以使用传统的关系型数据库来建立可适应这种变化需求的非结构化数据模型。针对这个难题,提出了使用NoSQL对天文上广泛使用的FITS文件头中所包含的可变元数据信息进行存储和查询;讨论了关系型数据模型存储可变FITS文件头的不足;分析了NoSQL存储可变FITS头元数据信息的可行性;使用形式化的关系型代数对这种存储查询方式进行了一般化的讨论。通过具体查询实例验证了该方案在存储天文可变FITS文件头的有效性和可行性。; 刘应波王锋季凯帆邓辉戴伟梁波

基于OpenCL的MUSER CLEAN算法研究与实现被引量：3: 2017年; 天文软件开发中迫切需要在单机环境下进行高性能数据处理工作,但由于机器配置不同,采用传统的多线程、CUDA(Compute Unified Device Architecture)+GPU(Graphic Processing Unit)等方式都存在明显的局限,不利于天文软件的快速移植和无缝运行.对明安图频谱射电日像仪(MingantU SpEctral Radioheliograph,MUSER)数据处理系统开发中所采用的OpenCL(Open Computing Language)技术进行介绍,并基于OpenCL实现Hgbom CLEAN算法.整体工作通过Python语言和PyOpenCL扩展包实现并行洁化处理.实验结果表明:基于OpenCL实现的CLEAN算法与基于CUDA实现的CLEAN算法具有大致相当的运行效率,同时也可以无需修改代码直接实现纯CPU(Central Processing Unit)环境下的高性能数据处理,解决了对CUDA+GPU环境依赖的问题,在保证MUSER数据处理系统洁化过程性能的基础上,提高了系统对硬件平台的适用性.该工作验证了OpenCL在科学数据处理中的可用性,可以预见:由于OpenCL所具有的异构环境下高性能计算特性,OpenCL将是未来天文高性能软件开发的首选技术.; 冯勇陈坤邓辉王锋梅盈卫守林戴伟杨秋萍刘应波吴静平; 关键词：仪器 CLEAN

渝B2-20050021-1　渝公网安备 50019002500403号　违法和不良信息举报中心　互联网出版许可证　新出网证(渝)字10号

刘应波