您的位置： 专家智库 > >

付仲明

作品数：9 被引量：3H指数：1
供职机构：湖南大学更多>>
相关领域：自动化与计算机技术更多>>

合作作者

文献类型

  • 8篇专利
  • 1篇学位论文

领域

  • 2篇自动化与计算...

主题

  • 6篇SPARK
  • 2篇应用类
  • 2篇应用类型
  • 2篇时间序列预测
  • 2篇输出数据
  • 2篇数据分片
  • 2篇数据分区
  • 2篇索引
  • 2篇计算机
  • 2篇计算机设备
  • 2篇哈希
  • 2篇哈希算法
  • 2篇采样
  • 2篇采样数据
  • 2篇抽样算法
  • 2篇存储介质
  • 2篇STREAM...
  • 1篇动态数据
  • 1篇增量式
  • 1篇数据库

机构

  • 9篇湖南大学

作者

  • 9篇付仲明
  • 8篇唐卓
  • 8篇李肯立
  • 7篇李克勤
  • 5篇肖伟
  • 2篇陈建国
  • 1篇刘昆昆
  • 1篇李巧巧
  • 1篇钟莹

年份

  • 2篇2021
  • 2篇2020
  • 2篇2019
  • 2篇2018
  • 1篇2016
共 9 条 记 录，以下是 1-9
全选 清除 导出
排序方式：
Spark-Streaming中间数据分区方法、装置、计算机设备和存储介质
本申请涉及一种Spark‑Streaming中间数据分区方法、装置、计算机设备和存储介质。一个实施例中的方法包括：获取Spark‑Streaming map任务输出的中间数据中的多个元素，基于蓄水池抽样算法，对多个元素进...
唐卓付仲明陈岑陈建国李肯立李克勤廖湘科
文献传递
一种基于Spark的抗偏斜的数据分片方法
本发明公开了一种基于Spark的抗偏斜的数据分片方法，包括：步骤A：获取预估的中间数据的键簇分布以及Spark应用类型，再基于获取的键簇分布生成与Spark应用类型相匹配的分片策略；键簇为键相同的键值对集合，分片策略包括...
吕葳唐卓李肯立李克勤付仲明肖伟
文献传递
一种基于Spark框架的增量式频繁项集挖掘方法
本发明公开了一种基于Spark框架的增量式频繁项集挖掘方法，首先实现一种基于Spark的自适应并行Apriori算法，使用自适应算法来寻找具有更高精度和效率的频繁模式，可以有效解决传统Apriori算法在面对大规模数据时...
何梦思唐卓李肯立李克勤付仲明肖伟
文献传递
一种基于Spark框架的中间数据权重设置方法
本发明公开了一种基于Spark框架的中间数据权重设置方法，采用对RDD分片中的键值对进行采样，并通过采样数据估算出中间数据的分布情况，并根据该分布情况为中间数据设置权重值，从而使得分片更加均衡，总体执行更加均衡，提高执行...
吕葳唐卓李肯立李克勤付仲明肖伟
文献传递
基于条件随机场的MYSQL数据库强制访问控制自适应优化方法
本发明公开了一种针对具有强制访问控制策略的改进了的MYSQL安全数据库的系统访问日志进行处理和分析，对系统运行过程中发生的漏洞和危险事件进行人工标注，提取特征值，定义特征模版，并通过设置不同的模型参数来调整和验证CRFs...
唐卓李巧巧李肯立刘昆昆付仲明钟莹
文献传递
一种基于Spark框架的中间数据权重设置方法
本发明公开了一种基于Spark框架的中间数据权重设置方法，采用对RDD分片中的键值对进行采样，并通过采样数据估算出中间数据的分布情况，并根据该分布情况为中间数据设置权重值，从而使得分片更加均衡，总体执行更加均衡，提高执行...
吕葳唐卓李肯立李克勤付仲明肖伟
文献传递
Spark-Streaming中间数据分区方法、装置、计算机设备和存储介质
本申请涉及一种Spark‑Streaming中间数据分区方法、装置、计算机设备和存储介质。一个实施例中的方法包括：获取Spark‑Streaming map任务输出的中间数据中的多个元素，基于蓄水池抽样算法，对多个元素进...
唐卓付仲明陈岑陈建国李肯立李克勤廖湘科
文献传递
Apache Spark分布式并行计算框架优化技术研究
随着计算机技术的飞速发展,各行各业的数据以指数形式爆炸式增长。大数据时代已经来临,给互联网行业带了巨大的机遇与挑战。一方面,大数据资源蕴含着巨大的社会价值和商业价值,有效地管理这些数据、挖掘数据的深度价值,对国家治理、社...
付仲明
关键词：MAPREDUCESPARK数据偏斜通信延迟
文献传递
一种基于Spark的抗偏斜的数据分片方法
本发明公开了一种基于Spark的抗偏斜的数据分片方法，包括：步骤A：获取预估的中间数据的键簇分布以及Spark应用类型，再基于获取的键簇分布生成与Spark应用类型相匹配的分片策略；键簇为键相同的键值对集合，分片策略包括...
唐卓吕葳李肯立李克勤付仲明肖伟
文献传递
全选 清除 导出
共1页<1>
聚类工具0