于徐红 作品数:36 被引量:26 H指数:4 供职机构: 贵州师范大学 更多>> 发文基金: 国家自然科学基金 中国科学院战略性先导科技专项 贵州省科学技术基金 更多>> 相关领域: 自动化与计算机技术 天文地球 交通运输工程 建筑科学 更多>>
一种面向FAST PB量级脉冲星数据处理加速方法及系统 被引量:5 2021年 500 m口径球面射电望远镜(Five-hundred-meter Aperture Spherical Telescope,FAST)已投入科学运行,其中脉冲星漂移扫描巡天采集数据量已达数PB,预计每年至少新增5 PB。现有的数据处理软件如PRESTO,SIGPROC等无法满足PB量级数据的快速处理要求。提出了一种基于PRESTO的分布式并行计算方法,整合利用数据库技术和异地异构计算资源,构建了一套命名为Craber的计算加速系统,由FAST早期科学数据中心与国家天文台共同设计实现。启用Craber子网计算集群D中55个计算节点,应用澳大利亚帕克斯(Parkes)望远镜多波束巡天数据集和500 m口径球面射电望远镜漂移扫描数据验证了系统流程和搜索数据库。单个100 MB帕克斯巡天数据文件平均耗时36 s,单个128 MB 500 m口径球面射电望远镜巡天数据文件平均耗时22 s。该系统目前已实际参与数据处理并发现了数十颗脉冲星,有效帮助500 m口径球面射电望远镜加速数据处理和扩大新样本数量。 张辉 谢晓尧 谢晓尧 刘志杰 王培 刘志杰 游善平 王培 于徐红关键词:脉冲星 数据处理 分布式存储系统及其计算方法 本发明公开了分布式存储系统及其计算方法,包括,包括计算系统、Alluxio和HDFS的主从结构,以及将各系统主节点部署到同一台节点上,其余节点均作为从节点。本发明所提出的存储系统架构和计算流程确实能够通过减少网络传输时延... 谢晓尧 于徐红 刘懿德基于相似性的C语言源程序自动评分系统的研究 被引量:1 2019年 研究了基于相似性的C语言源程序自动评分系统。该系统首先融合C语言源程序中所提取的基于流程控制结构的特征和基于语法的特征并使用KNN算法得出分数SCORE1;然后根据未评分源程序和标准程序的输出结果之间的相似性得出分数SCORE2;最后将SCORE1和SCORE2综合起来得到最终的分数SCORE。 陈彦 于徐红 杨惠仁 代亮关键词:KNN算法 基于Spark的单脉冲搜索并行化的研究 2023年 单脉冲搜索是搜索脉冲星、快速射电暴与旋转暂现射电源的重要手段。随着500m口径球面射电望远镜正式投入运行,单脉冲搜索面临的数据处理规模已达到PB级别,基于分布式架构的数据处理方法对天文研究工作具有重要意义。本文简述了单脉冲搜索方法,分析了Spark相比于主流分布式架构的优势,对现有脉冲星搜索程序中的单脉冲搜索模块,完成了基于Spark的并行优化,构建了分布式集群,同时结合批处理应用场景,基于负载均衡的理念设计了面向分布式集群的任务分配算法。通过实验评估系统性能,结果表明,本系统在大规模数据处理应用场景具有显著优势,为后续运用于实际环境提供了有效的数据支撑。 韩富汇 刘志杰 于徐红 农静关键词:SPARK 基于CUDA并行计算架构对折叠进行GPU并行化的方法 本发明公开了基于CUDA并行计算架构对折叠进行GPU并行化的方法,包括以下步骤:步骤S1、基于gperftools做性能分析;步骤S2、分析数据依赖性;步骤S3、基于CUDA的GPU并行。本发明基于CUDA并行计算架构对... 吕健 谢晓尧 于徐红基于分布式智能计算的网络阅卷系统 刘志杰 张安钰 喻国军 于徐红 陈彦 叶明亮 王先华 任务来源:贵州省科技厅工业攻关项目:基于互连网的远程无纸化阅卷系统的研究(黔科合GY字(2006)3018)。应用领域和技术原理:该项目属于计算机自动控制和分布式计算领域,应用先进的图像处理技术、分布式云计算技术实现网络...关键词:关键词:计算机自动控制系统 图像采集系统 基于跳白块编码和深度神经网络对脉冲星候选体诊断图像的压缩研究 2022年 500 m口径球面射电望远镜(Five-hundred-meter Aperture Spherical radio Telescope,FAST)脉冲星搜索产生的候选体诊断图量级呈指数增长,给科学数据管理工作带来挑战,迫切需要研究压缩方法,实现诊断图的有效存储,加快其在网络中传输共享。脉冲星诊断图像由稀疏的黑白图像、随机分布的灰度图和彩色图像组成,简单视为彩色图像用同一种压缩方法处理显然不合理。提出跳白块编码和深度网络压缩编码压缩模型对脉冲星候选体诊断图分区压缩,使用近年来FAST巡天搜索项目脉冲星候选体诊断图来训练和验证。结果表明,改进的跳白块编码(White Block Skipping,WBS)压缩稀疏黑白图像的性能是PNG(Portable Network Graphics)的5倍;深度网络压缩算法处理灰度图和彩色图峰值信噪比(Peak Signal-to-Noise Ratio,PSNR)性能优于JPEG(Joint Photographic Experts Group)和JPEG2000算法,与BPG(Better Portable Graphics)算法性能相当,结构相似性(Structural Similarity,SSIM)远超传统压缩算法。 姜家涛 谢晓尧 谢晓尧单脉冲搜索在CRAFTS巡天数据中的研究与应用 被引量:1 2022年 对大规模射电天文巡天项目产生的数据进行单脉冲搜索会产生数以亿计的脉冲星候选体。处理了500 m口径球面射电望远镜(Five-hundred-meter Aperture Spherical radio Telescope,FAST)多科学目标同时扫描巡天(The Commensal Radio Astronomy FAST Survey,CRAFTS)32万个超宽带数据文件,得到5万个脉冲星候选体。针对CRAFTS单脉冲搜索试验结果中脉冲星候选体仅有1.5%真正是脉冲星信号的问题,提出3个显著区分脉冲星信号和干扰的特征,并应用于单脉冲筛选流程。试验结果表明,改进后的单脉冲筛选工具将需要人工检查脉冲星候选体的数量降低了20%,一定程度上提高了CRAFTS巡天数据的单脉冲搜索效率。 张彬 梁楠 于徐红 陈宗浩 刘志杰 游善平关键词:脉冲星 色散 CRAFTS 射频干扰 一种基于Ray并行框架的单脉冲搜索方法 本发明公开了一种基于Ray并行框架的单脉冲搜索方法,包括以下步骤:步骤S1、对脉冲星时间序列数据文件进行读取;步骤S2、创建DM列表、candlist列表以及num_v_DMstr列表;步骤S3、创建局部调度器并根据CP... 傅志明 于徐红 谢晓尧一种基于实心正方形的试卷客观题答题卡定位方法 本发明公开了一种基于实心正方形的试卷客观题答题卡定位方法,采用分布于两条不同直线上的实心正方形作为试卷客观题答题卡的定位标记,将答题卡扫描处理后,定位出实心正方形所在的直线,利用这两条直线及其交点构造定位坐标系统,从而定... 谢晓尧 于徐红 陈彦文献传递