王成章
- 作品数：3 被引量：3H指数：1
- 供职机构：北京航空航天大学更多>>
- 发文基金：国家重点基础研究发展计划更多>>
- 相关领域：自动化与计算机技术更多>>
- 基于分布式的数据流处理方法和系统
- 本发明提供一种基于分布式的数据流处理方法和系统，通过工作节点根据从主节点接收的逻辑任务中用于指示进行指定操作的目标逻辑任务的接收速率，以及对目标逻辑任务执行指定操作的处理速率，确定指定操作对应的并行度，根据并行度，对目标...
- 林学练于晨晖崔晓龙叶玥王成章
- 文献传递
- 流式处理系统的动态数据分配技术被引量：3
- 2014年
- 流式数据处理中,数据倾斜等原因易导致计算节点的负载不均衡,降低系统处理能力。传统的负载均衡方法,比如算子分配、算子迁移和负载脱落等技术因为相对较高的性能代价,在流式处理系统中没有得到广泛的应用。针对流式处理系统的特点,提出一种新的负载均衡方法。在该方法中,计算单元的数据被划分为若干分区,并且数据分区可以在计算单元中动态分配和迁移,在较少干扰系统运行的情况下,通过动态调整各计算单元的分区,平衡各个计算单元的输入流和利用率,以此达到负载平衡的目的。在此基础上,设计并实现了流式处理系统的负载均衡算法和数据在线迁移技术。实验结果表明,该方法能够显著减少数据处理的平均延迟,提高系统吞吐量。
- 王成章林学练谭静芳
- 关键词：数据流负载均衡数据分配数据迁移
- 基于分布式的数据流处理方法和系统
- 本发明提供一种基于分布式的数据流处理方法和系统，通过工作节点根据从主节点接收的逻辑任务中用于指示进行指定操作的目标逻辑任务的接收速率，以及对目标逻辑任务执行指定操作的处理速率，确定指定操作对应的并行度，根据并行度，对目标...
- 林学练于晨晖崔晓龙叶玥王成章
