声明
严正声明：本站非期刊官网，非中介代理。
本站仅提供学术规范服务：快速预审、润色编辑服务、中英文查重、降重、去重服务、推荐合适的期刊投稿等学术规范服务。 如需提供学术规范服务请联系在线编辑。
国内刊号：11-5602/TP
国际刊号：1673-9418
发布日期:
作者：贺莎, 唐小勇
单位：1. 长沙理工大学 计算机与通信工程学院，长沙 4101142. 岳麓山实验室，长沙 410128
关键词：RDD数据块,缓存增益,缓存替换,Spark框架
基金：国家自然科学基金（62372064）；湖南省研究生科研创新项目（CX20230911）。
缓存替换是Spark内存优化的一个研究热点和难点。然而，应用程序特征的多样性、内存资源的有限性以及缓存替换的不确定性对实现高系统执行性能构成了挑战。低效的缓存替换策略可能会导致不同的性能问题，如应用程序执行时间长，资源利用率低等。基于此，提出一种面向Spark大数据处理框架的弹性分布式数据集（RDD）数据块增益感知缓存替换策略。该策略建立了综合考虑数据块分区大小、引用计数、计算成本和资源成本影响因子的缓存价值评估模型，用于准确评估数据块的缓存价值。提出缓存增益问题模型，以形式化描述缓存管理的优化问题。提出RDD数据块增益感知缓存替换算法（CRCA），以确保内存中的RDD数据块带来的缓存增益最大化。为验证CRCA算法的有效性，基于Spark构建了一个真实的大数据集群实验平台，并采用HiBench基准测试工具中的多样化负载进行实验评估。结果表明，提出的缓存替换算法在任务执行时间和CPU利用率方面优于现有的最近最少使用算法（LRU）和最小分区权重算法（LPW）。
来源：2025年第9期
《计算机科学与探索》期刊编辑部
严正声明：本站非期刊官网，非中介代理。
本站仅提供学术规范服务：快速预审、润色编辑服务、中英文查重、降重、去重服务、推荐合适的期刊投稿等学术规范服务。 如需提供学术规范服务请联系在线编辑。