周敏奇
- 作品数：29 被引量：190H指数：6
- 供职机构：华东师范大学更多>>
- 发文基金：国家自然科学基金国家重点基础研究发展计划上海市教育委员会创新基金更多>>
- 相关领域：自动化与计算机技术生物学文化科学更多>>
- FDSS:基于HDFS的海量音乐特征数据存储系统被引量：2
- 2011年
- 随着互联网上音乐数目的迅速增长,传统的单机和小规模分布式平台已经不能满足海量音乐特征数据管理的需要;Hadoop分布式文件系统(HDFS)具有可扩展性、高可用性、容错性的优势,为海量音乐特征数据提供了有效的管理平台.提出了海量音乐特征数据存储系统FDSS:基于HDFS平台和MapReduce框架,设计了音乐特征数据的存储结构,实现了海量音乐特征数据的存储和读取;结合格雷码为音乐特征数据建立索引,优化了数据分布和快速读取;引入分布式内存缓存Memcached存储频繁访问的数据,优化了数据读取时间.系统演示了对海量级音乐特征数据的分布式存储和对指定音乐特征数据的快速读取功能.
- 范远超徐辰于政周敏奇王晓玲
- 关键词：HDFSMAPREDUCE格雷码MEMCACHED
- OceanBase数据库监控系统被引量：1
- 2016年
- 针对目前Oceanbase数据库监控方面薄弱的问题,基于OceanBase的系统架构以及参考其集群部署,并借助其提供的系统接口,提出一套适用于OceanBase在系统监控、系统预警以及故障定位等方面的可执行方案,以此实现了OceanBase监控系统OBDMS。首先,调研OceanBase在系统架构及集群部署等方面的特点;其次,根据OceanBase提供的系统接口以及系统监控、预警和故障定位等目标,构建OBDMS的系统架构;最后,利用OBDMS的系统架构并结合分布式系统的原理,实现了OBDMS。通过分析对比、实验结果表明:只需在每个监控节点上部署监控代理,OBDMS就能自动收集各个节点上的监控信息,节省了运维时间;并且通过一个月的运行以及压力测试,OBDMS各模块均运行正常,具有较高的可靠性。因此,OBDMS具备部署简单、节省运维时间、可靠稳定等特点。
- 王雷钱招明郭进伟张蓉周敏奇高明钱卫宁
- 关键词：分布式数据库故障定位
- 基于Raft一致性协议的高可用性实现被引量：9
- 2015年
- 随着互联网的快速发展和大数据时代的来临,传统数据库的局限性开始逐渐显现,而支持海量数据存储和高并发访问的分布式数据库系统越来越流行.在此背景下阿里巴巴集团研发了一款适用于海量数据存储的分布式数据库系统(OceanBase),并提供单集群和多集群两种部署模式.但多集群部署模式下的可用性较低,无法满足关键性应用的需求,包括:发生故障时不支持主备集群的自动切换;主备集群之间无法保证日志的强同步.针对上述问题,本文分析了传统数据库的高可用方案,针对OceanBase架构的特点,结合了Raft算法的思想,设计并实现了基于时间戳的分布式选举模块、自动化的集群切换模块和基于QUORUM策略的日志强同步模块.经实验验证,以上模块的实现能够提高系统整体的可用性.
- 张晨东郭进伟刘柏众储佳佳周敏奇钱卫宁
- 关键词：分布式数据库高可用性
- 按列存储环境下分布式系统中物化视图布局及其维护方法
- 本发明属数据库技术领域，具体提出了一种按列存储坏境下分布式系统中物化视图的布局和维护方法。本发明包括一种高可扩展的数据布局策略，和高效的维护视图一致性的方法。本发明使用面向列存储模型来存储关系数据表，并且引入一致性模型对...
- 周傲英徐辰夏帆陈峰祝海通周敏奇钱卫宁
- 文献传递
- 面向内存计算的连接算法被引量：6
- 2014年
- 内存和CPU技术的快速发展标志着内存计算时代的来临.本文系统地回顾了基于内存计算的连接算法,具体在嵌套循环连接、哈希连接、排序归并连接和单机环境、分布式环境两个分类的维度上分析了已有算法的优点与不足,展望了未来的研究方向,最后介绍了基于Claims原型系统关于分布式连接方面的研究工作.
- 张磊方祝和周敏奇黄岚
- 关键词：数据库
- 内存数据索引：以处理器为核心的性能优化技术被引量：1
- 2014年
- 随着单机内存容量的持续上升,内存数据库技术逐渐取代传统磁盘数据库为数据管理提供更快速的支持.本文分析了设计内存索引结构所需要考虑的基本要素;对目前的内存索引结构进行了分类总结,并分析各结构的优缺点;针对当前应用发展趋势,指出内存索引未来发展的机遇与挑战;最后介绍了我们正在研发的分布式集群感知内存数据库(CLAIMS)中的内存索引结构.
- 董绍婵周敏奇张蓉周傲英
- 关键词：分布式内存数据库索引压缩
- 大规模分布并行计算系统容错与恢复技术被引量：1
- 2014年
- 当前,拥有超级计算能力的计算机系统通常是大型商用系统形成计算机集群.与所有的分布式系统一样,这些系统通过独立的计算机硬件协同合作共同实现超级计算的能力.然而在拥有超级计算能力的同时,集群中的任何一个组件随时都可能失效,从而导致错的输出.为了提高集群在系统出现故障的情况下的鲁棒性,许多容错技术已经被设计和实现,用以处理各种类型的系统故障.本文对各种现有的容错技术进行了总结归纳,以便在此基础之上进行进一步的研究从而适应当前环境下的系统容错.
- 张新洲周敏奇
- 关键词：容错并行计算集群
- 内存集群计算:交互式数据分析被引量：4
- 2014年
- 本文围绕大数据分类中决策数据的管理和分析进行展开.重点分析了大数据时代关于商务智能(Business Intelligence,BI)技术新的应用需求;讨论了计算机硬件和体系结构的发展为决策数据管理和分析带来的挑战和机遇;通过对新兴典型应用的分析和相关技术和系统特点的总结,说明了基于内存计算的高性能数据管理和分析技术是当前亟待解决的问题,具有广阔的应用前景.在全内存式(in-memory)数据管理环境下,网络通讯将成为整个系统的主要瓶颈.结合内存的特点(数据易失性、内存墙瓶颈),设计针对高性能服务器的无共享分布式内存系统拓扑结构;研究面向异构、多层次缓存和内存结构的分布式数据布局与索引策略,跨核、跨处理器、跨服务器的多粒度并行处理框架,缓存感知、内存感知的分布式数据一致性维护等关键技术,轻量级面向按列存储的数据压缩机制及压缩感知的数据处理机制,将是基于内存计算的高性能数据管理与分析技术的重点研究内容,并将最终实现实时交互式分析处理.
- 黄岚孙珂陈晓竹周敏奇
- LCDJ:面向内存集群计算的局部感知连接算法
- 2014年
- 等值连接是数据库系统中最为重要的操作之一,哈希连接在处理等值连接时,表现出较高的性能.在分布式内存数据库系统中,数据即已分布式地存储于多个节点上,哈希连接通常情况需要将参与连接的两个关系表在连接属性上按照相同的哈希函数进行数据重分区,从而保证连接属性值相同的元组被传输到同一个节点上进行本地连接操作.由于内存数据处理速率远远高于网络的数据传输速率,因此数据重分区占据了连接算法的绝大部分时间,成为分布式内存数据库系统中等值连接操作的性能瓶颈.本文提出了一种新颖的分布式内存数据库环境下的等值连接算法LCDJ(Locality Conscious Distributed Join),在充分利用高效的内存计算的同时尽量减少网络数据传输量.算法首先对每个表连接属性的数据分布进行精确的统计,并结合并行度和计算负载均衡因素,进而建立代价模型来衡量不同调度策略下的时间开销,并求出最优的调度策略.LCDJ实现于基于内存的分布式原型系统Claims中.实验结果表明,本文所提算法有效地降低了网络传输代价,大幅度减少了响应时间,比起当前流行的Hive和Shark等系统有明显的性能提升.
- 张磊周敏奇王立
- 关键词：内存数据库负载均衡分布式系统
- 大规模分布并行计算系统容错与恢复技术
- 当前,拥有超级计算能力的计算机系统通常足大型商用系统形成计算机集群.与所有的分布式系统一样,这些系统通过独立的计算机硬件协同合作共同实现超级计算的能力.然而在拥有超级计算能力的同时,集群中的任何一个组件随时都可能失效,从...
- 张新洲周敏奇
- 关键词：容错技术
- 文献传递
