王晨曦
- 作品数：5 被引量：9H指数：1
- 供职机构：中国科学院计算技术研究所更多>>
- 发文基金：国家重点实验室开放基金国家自然科学基金国家重点基础研究发展计划更多>>
- 相关领域：自动化与计算机技术更多>>
- 面向大数据处理的基于Spark的异质内存编程框架被引量：9
- 2018年
- 随着大数据应用的发展,需要处理的数据量急剧增长,企业为了保证数据的及时处理并快速响应客户,正在广泛部署以Apache Spark为代表的内存计算系统.然而TB级别的内存不但造成了服务器成本的上升,也促进了功耗的增长.由于DRAM的功耗、容量密度受限于工艺瓶颈,无法满足内存计算快速增长的内存需求,因此研发人员将目光逐渐移向了新型的非易失性内存(non-volatile memory,NVM).由DRAM和NVM共同构成的异质内存,具有低成本、低功耗、高容量密度等特点,但由于NVM读写性能较差,如何合理布局数据到异质内存是一个关键的研究问题.系统分析了Spark应用的访存特征,并结合OpenJDK的内存使用特点,提出了一套管理数据在DRAM和NVM之间布局的编程框架.应用开发者通过对本文提供接口的简单调用,便可将数据合理布局在异质内存之中.仅需20%~25%的DRAM和大量的NVM,便可以达到使用等量的DRAM时90%左右的性能.该框架可以通过有效利用异质内存来满足内存计算不断增长的计算规模.同时,"性能/价格"比仅用DRAM时提高了数倍.
- 王晨曦吕方吕方曹婷崔慧敏曹婷冯晓兵
- 关键词：SPARK编程框架
- 一种面向可变粒度内存系统的二进制文件重写方法
- 本发明提供一种面向可变粒度内存系统的二进制文件重写方法，包括：在二进制文件的中间表示中找到热循环区域；对于访存行为符合可变粒度访存模式的热循环区域，合并该区域内的访存信息，并且在该区域之前插入头语句；以及，根据修改后的热...
- 吕方王晨曦黄磊冯晓兵崔慧敏王蕾
- 文献传递
- 一种支持弹性向量执行的数据处理方法及系统
- 本发明提出一种支持弹性向量执行的数据处理方法，包括：将主程序划分为多个子程序，选取该子程序中的向量化循环子程序为目标子程序，获取该目标子程序的计算访存比；依据该计算访存比对处理器的核分配SIMD计算通道，并运行该主程序；...
- 张忠诚刘颖王晨曦张宇洋欧阳玉成单嘉豪崔慧敏冯晓兵
- 一种面向可变粒度内存系统的二进制文件重写方法
- 本发明提供一种面向可变粒度内存系统的二进制文件重写方法，包括：在二进制文件的中间表示中找到热循环区域；对于访存行为符合可变粒度访存模式的热循环区域，合并该区域内的访存信息，并且在该区域之前插入头语句；以及，根据修改后的热...
- 吕方王晨曦黄磊冯晓兵崔慧敏王蕾
- 一种面向异OS的汇编器及汇编移植方法
- 本发明公开了一种面向异OS的汇编器及汇编移植方法，本发明涉及计算机代码移植领域，该方法包括获取源代码，将所述源代码进行编译，获取源汇编程序；选择目标操作系统，按照所述目标操作系统的汇编格式，将所述源汇编程序转化为符合所述...
- 吕方卢廷玉郭磊闫晓超黄磊李星刘颖付晓丽胡丹琪王晨曦
- 文献传递
