马灿
- 作品数：18 被引量：102H指数：5
- 供职机构：中国科学院信息工程研究所更多>>
- 发文基金：国家高技术研究发展计划国家自然科学基金国家重点基础研究发展计划更多>>
- 相关领域：自动化与计算机技术自然科学总论更多>>
- 一种基于共享存储池的分布式事务处理方法
- 本发明涉及一种基于共享存储池的分布式事务处理方法，包括：基于哈希将分布式文件系统目录全路径映射到元数据服务器；从需参与分布式事务的元数据服务器集合中指定一个协调器和多个参与器；元数据服务器评估其需要完成的分布式事务操作，...
- 马灿王伟平孟丹周江王有为
- 文献传递
- 曙光星云分布式文件系统:海量小文件存取被引量：9
- 2012年
- 随着互联网应用的发展和云计算的兴起,在线图片、音频、视频以及微博等服务逐渐广泛发展,这些应用展示了与传统应用截然不同的数据访问和存储模式.数据中心内每秒钟都有大量较小文件的生成、分析和返回,这些应用对高并发海量文件的高吞吐、低延迟读写提出了新的挑战.提出基于分布式表存储的全新的分布式文件系统HVFS来管理数以十亿计的文件,并同时支持高吞吐和低延迟的文件访问.HVFS通过改进分布式可扩展哈希来管理元数据、日志结构的格式和列存储来利用时空局部性.本文描述了HVFS的设计和实现并进行了中等规模的实验.实验显示HVFS的表存储结构能够线性的扩展,并在82个结点上提供超过240,000次/秒、100,000次/秒的数据(<1KB)写和读;基于FUSE的实现在32个节点上提供超过180,000个/秒的文件创建速度.
- 马灿孟丹熊劲
- 关键词：分布式文件系统海量文件
- 一种基于目录划分的元数据分布方法及装置
- 本发明涉及一种基于目录划分的元数据分布方法，包括以下步骤：获取元数据中的文件名，得到名称文件；对目录进行目录划分，得到多个目录分片文件，并为每个目录分片文件分配一个目录分片号；分别为每个名称文件分配一个目录分片号，将名称...
- 马灿王伟平孟丹
- 文献传递
- 支持多版本Hive表分区的数据加载、查询方法及电子装置
- 本发明提供的支持多版本Hive表分区的数据加载、查询方法及电子装置，包括获取每条数据的分区字段；根据分区字段与各分区字段值列表的匹配关系，将每条数据写入相应的Hive表分区内；若存入哈希分区或自动间隔分区时，分区字段不能...
- 钟进文马灿王伟平
- 基于SSD的机群文件系统元数据存储系统被引量：8
- 2012年
- 随着数据量的增加和元数据操作性能需求的提高,传统基于磁盘(HDD)存储架构的机群文件系统元数据存储系统由于HDD成为性能瓶颈而无法满足需求.将SSD应用到元数据存储中,设计实现了一个基于SSD+HDD的异构元数据存储系统Hybrid MDSL.针对SSD的I/O特性设计了基于追加写的元数据存储组织,并通过基于访问热度的数据迁移机制提高SSD空间利用率.测试结果表明,Hybrid MDSL明显提高了元数据I/O的性能.
- 陈卓熊劲马灿
- 关键词：机群文件系统SSD
- 面向大数据分析的分布式文件系统关键技术被引量：72
- 2014年
- 大数据时代的来临使数据分析和处理能力成为数据中心和互联网公司日益倚重的技术手段．信息规模的扩大和数据结构的多样化，使海量数据存储成为大数据分析研究的热点．传统的分布式文件系统在扩展性、可靠性和数据访问性能等方面难以满足新形势下的需求．设计并实现了一个面向大数据分析、专为大规模集群应用的分布式文件系统Clover．该系统采用基于目录划分和一致性Hash映射的名字空间管理方法，解决了元数据扩展性问题；通过改进的两阶段提交协议，保证了多元数据服务器下分布式元数据操作的一致性；提出了基于共享存储池的高可用机制，通过热备和全局状态恢复机制提高了元数据的可靠性．评测结果表明，Clover的元数据处理能力随服务器的数量线性增长，增加单个服务器的元数据操作性能平均提升了5．13％～159．32％．由于名字空间管理和分布式事务的开销，多元数据服务器会导致复杂操作的性能下降，但是这种下降的幅度很小（小于10％）．与HDFS相比，Clover的文件读写带宽与之接近，并能够保证在元数据服务器失效后文件系统快速恢复，适合于构建高可扩展和高可用的存储系统．
- 周江王伟平孟丹马灿古晓艳蒋杰
- 关键词：大数据海量数据存储分布式文件系统高可用性
- 以文字为中心的图像理解技术综述
- 2023年
- 文字广泛存在于各种文档图像和自然场景图像之中,蕴含着丰富且关键的语义信息。随着深度学习的发展,研究者不再满足于只获得图像中的文字内容,而更加关注图像中文字的理解,故以文字为中心的图像理解技术受到越来越多的关注。该技术旨在利用文字、视觉物体等多模态信息对文字图像进行充分理解,是计算机视觉和自然语言处理领域的一个交叉研究方向,具有十分重要的实际意义。本文主要对具有代表性的以文字为中心的图像理解任务进行综述,并按照理解认知程度,将以文字为中心的图像理解任务划分为两类,第1类仅要求模型具备抽取信息的能力,第2类不仅要求模型具备抽取信息的能力,而且要求模型具备一定的分析和推理能力。本文梳理了以文字为中心的图像理解任务所涉及的数据集、评价指标和经典方法,并进行对比分析,提出了相关工作中存在的问题和未来发展趋势,希望能够为后续相关研究提供参考。
- 张言李强申化文曾港艳周宇周宇张远马灿
- 社交网络上可疑账号的检测方法及装置
- 本发明公开了一种社交网络上可疑账号的检测方法及装置，所述方法包括：针对待检测账号集合，获取各待检测账号i的特征；计算各特征j的特征异常值<Image file="DDA0003603835570000011.GIF" h...
- 马灿田冠华李冰李玲双
- 面向机群文件系统的高可靠消息传输机制
- 针对机群文件系统的个子操作出现错误会影响数据的可用性,提出了一种高可靠的消息传输机制HR-NET。将机群文件系统的网络故障分为3类：发送错误;接收错误;请求应答错误。对于前2种错误,提出了基于冗余传输路径的网络容错机制,...
- 周江熊劲马灿
- 关键词：机群文件系统可靠性分析网络故障容错机制
- 基于稀疏采样时空数据的目标同行关系分析方法及电子装置
- 本发明提供一种基于稀疏采样时空数据的目标同行关系分析方法及电子装置，包括采集目标用户E<Sub>0</Sub>各关联设备U<Sub>k</Sub>的时空数据，依据各关联设备U<Sub>k</Sub>出现记录，计算与其他设...
- 钟进文霍亚宁尉雁磊赵岩马灿王伟平
- 文献传递
