魏学才
- 作品数：2 被引量：7H指数：2
- 供职机构：教育部更多>>
- 发文基金：上海市“科技创新行动计划”项目国家自然科学基金上海市科学技术委员会资助项目更多>>
- 相关领域：自动化与计算机技术更多>>
- 基于软件定义网络的分布式文件系统设计被引量：2
- 2016年
- 传统的分布式文件系统未考虑底层网络的情况,因此其读写性能以及在异构网络环境中的文件修复性能都有较大的提升空间。利用软件定义网络(SDN)提供的底层网络的动态数据资源,计算出数据传输的实时最佳路径。对分布式文件系统中的大数据流进行流量导引,从而提高分布式文件系统的性能。在仿真的SDN环境中设计并实现一个分布式文件系统原型,对读文件、写文件和文件修复3种基本操作进行对比测试,结果表明,在SDN网络环境中的分布式文件系统,相对于传统网络环境,在读写和修复方面都有不同程度的性能提升。尤其是在数据流量非常大、网络流量异构明显的情况下,提升效果更为明显。
- 权恒星魏学才王漫
- 关键词：分布式文件系统数据中心网络异构网络
- 适应冷热数据存储的多编码架构的设计与实证被引量：5
- 2017年
- 随着互联网技术的发展,数据爆炸性增长,互联网的实际应用也已广泛依赖于海量数据的存储。实际的互联网应用往往需要存储多种类型数据,根据数据被访问频率差异可以将数据划分为冷热数据。然而,现有的编码存储机制往往只能采用固化的实现机制,无法适应多种数据类型的编码存储,导致存储系统性能(如数据访问时间)恶化。考虑到冷热存储数据的不同,提出一种基于多数据编码机制的存储系统框架。对于冷数据,该框架可以采用冗余度较低的编码,从而提高空间利用率;对于热数据,该框架可以采用解码速度较快的编码,从而提高数据访问速度。基于HDFS-RAID设计了这一框架并将之实现为真实系统,实际部署在一个Hadoop集群中。另外基于一个实际系统的用户数据轨迹,在搭建的集群中进行了试验,实验结果表明该框架可以满足不同类型数据同时高效存取的需求,并对编码机制具备高扩展性。
- 魏学才宫庆媛沈佳杰周扬帆王新
- 关键词：分布式数据存储HDFS
