计算机科学与探索

作者：李秉政，黄高阳，许瑾晨

单位：1. 数学工程与先进计算国家重点实验室，郑州 4500002. 江南计算技术研究所，江苏 无锡 214125

关键词：并行计算,异构众核处理器,LZMA,压缩算法

随着高性能计算和科学计算应用的发展，高性能计算集群系统传输、存储和处理的数据规模呈现爆炸式增长。对大规模数据进行高效的压缩，减少数据存储所需空间和传输所需的通信带宽，是提升高性能计算集群系统性能的关键之一。无损压缩算法中，LZMA算法具有较高的压缩率，但串行版本的LZMA算法压缩速率很慢。采用多核架构的处理器对无损压缩算法进行并行化，是提升压缩速率的一个研究方向。设计并实现了面向申威26010异构众核处理器并行化LZMA算法。结合申威异构众核处理器的特点，对LZMA算法存储空间需求、访存特性、热点函数等进行分析，基于Athread接口实现LZMA算法从核多线程并行，并对LDM地址空间进行细粒度的布局与优化以获得更好的缓存性能，实现DMA双缓冲的循环滑动窗口算法。测试结果表明，相较主核串行版本算法，并行LZMA算法在Silesia语料库基准测试集和大规模数据集中分别获得了4.1倍和5.3倍的最大加速比，获得了较好的加速效果。

来源：2020年第9期

《计算机科学与探索》期刊编辑部

查看计算机科学与探索杂志2020年第9期