公共文化服务平台

基于数据指纹的数据对账方法、系统及数据系统: 本发明提供了基于数据指纹的数据对账方法，包括如下步骤：步骤一：数据提供方提供不同业务场景下的数据流，为所述数据流自动匹配数据指纹计算引擎；步骤二：结合数据特征动态自适应调整算法，动态获取接入数据流中的关键属性极其变化，并...; 林文楷吴文王国威王海滨鄢小征王兵; 文献传递

一种基于自适应锁的缓存淘汰方法和系统: 本发明给出了一种基于自适应锁的缓存淘汰方法和系统，包括扫描缓存，获取缓存数据的信息；响应于缓存数据被访问，延长所述缓存数据的缓存过期时间，否则，缩减所述缓存过期时间；删除缓存过期时间小于预设缓存过期时间的缓存数据。该方法...; 周成祖鄢小征王海滨王兵吴文

基于目录注册的数据处理方法、装置、系统及存储介质: 本发明提供了一种基于目录注册的数据处理方法、装置、系统及存储介质，所述方法包括：获取原始数据；基于预定的目录注册规则和所述原始数据进行目录注册得到所述原始数据的数据目录；基于所述数据目录和预定的数据存储规则对所述原始数据...; 兰斌吴友武周成祖吴鸿伟吴文鄢小征

一种基于文本数据读取的方法和系统: 本发明给出了一种基于文本数据读取的方法和系统，包括分析过滤重复文件并将关联的文件合并归类至对应数据集合Fn中；比对待提取文本文件中属性集合与属性列表以根据其相似程度赋值处理引擎，并形成文件的属性分析结果集合；响应于属性分...; 周成祖林文楷吴文陈涛涛朱海勇蓝坤宏

一种基于动态封装的用户自定义函数实现方法及系统: 本申请提供一种基于动态封装的用户自定义函数实现方法及系统，通过动态加载用户业务类，并将类中指定业务实现方法的调用过程封装在Scala Function类中，构建出一个通用的Spark UDF供用户提交Spark SQL时...; 张凤王杰诚朱海勇吴文杨应华程兴源

一种针对存量数据告警的方法、装置、设备以及存储介质: 本发明公开了一种针对存量数据告警的方法，包括：建立存量数据运维告警指标字典表；离线计算所述存量数据的运维指标；判断是否需要告警，响应于需要告警，获取所述告警指标字典表中的告警指标，基于所述告警指标建立告警规则；基于告警规...; 魏超连志阳王海滨蓝坤宏唐成务吴文; 文献传递

一种Spark轻量级客户端实现方法研究被引量：1: 2023年; 【目的】满足前端用户频繁交互需求,克服传统重客户端与Spark应用服务保持长连接会话的弊端。【方法】在边缘节点服务器上部署高性能负载均衡和动态代理组件(HAProxy),提供一种通过轻量级客户端提交Spark作业的实现方法,对Spark作业进行动态调度与全生命周期管理。【结果】通过Spark on YARN模式将多个具有相同功能、相互之间能独立运行的Rest服务部署到YARN集群上,利用HAProxy的自动重载机制进行动态更新和加载后端服务配置,使前端用户在对后端变动无感知的情况下,通过HAProxy统一对外接口,将Spark作业提交到分散运行在Yarn集群上无差别的Rest服务中执行。【结论】该方法无须保持边缘节点服务器与集群节点服务器之间的长连接会话,通过HAProxy能有效避免外部用户直接访问集群内部节点,实现集群内外安全隔离的目的,同时可在Spark on YARN运行模式下实现Spark作业的交互式提交与异步调度,完成对Spark作业全生命周期的自主控制。; 张凤卢居辉朱海勇吴文; 关键词：SPARK YARN

一种基于关联可信度计算的数据筛选方法、系统和存储介质: 本发明公开了一种基于关联可信度计算的数据筛选方法，包括以下步骤：收集数据资源，生成原始数据汇总表；清洗原始数据汇总表，生成汇总数据表；设计汇总数据表中关联字段可信度的评估指标，计算关联字段在每个指标下的可信度得分；采用变...; 卢居辉吴文鄢小征谢信喜张凤王龙; 文献传递

一种Activiti流程与业务的分离方法以及系统: 本发明公开了一种Activiti流程与业务的分离方法、系统以及装置，涉及工作流技术领域。该方法包括：在业务库中新增流程表和流程环节表；在业务库中新增用户配置表，所述用户配置表保存流程环节信息与对应的审批角色信息。本发明技...; 张招林周成祖刘源周宏王海滨吴文; 文献传递

一种基于Prometheus自定义监控指标的方法: 本发明涉及一种基于Prometheus自定义监控指标的方法，其特征在于，包括以下步骤：在Prometheus Server上配置prometheus.yml文件，将目标节点加入到prometheus的采集任务中；在目标节...; 王振军魏超吴文朱海勇王兵唐成务; 文献传递

渝B2-20050021-1　渝公网安备 50019002500403号　违法和不良信息举报中心　互联网出版许可证　新出网证(渝)字10号

吴文