国内刊号:11-5602/TP
国际刊号:1673-9418
发布日期:
作者:郭晋阳, 贺昌义, 杨戈, 刘祥龙
单位:1. 北京航空航天大学 复杂关键软件环境全国重点实验室,北京 1001912. 北京航空航天大学 人工智能学院,北京 100191
关键词:人工智能,大语言模型,模型压缩与加速
基金:北京市科技计划项目(Z231100010323002);国家自然科学基金(62306025, 92367204);CCF-百度松果基金。
大语言模型由于强大的认知能力,在多个领域得到了广泛应用,成为人工智能领域的研究热点。然而,大语言模型对计算、存储资源的巨大需求,使其难以在资源受限的情境下使用。模型压缩与加速技术成为解决这一问题的关键手段,旨在保持模型性能的前提下,降低计算复杂度和存储成本。基于此,对大语言模型压缩与加速技术的前沿研究进行了全面的综述,旨在把握整个领域的发展现状与未来趋势,推动大语言模型压缩与加速技术的发展,助力其在工业界和学术界的应用落地。系统阐述了大语言模型在计算资源和存储成本方面面临的挑战;从模型剪枝、模型量化、知识蒸馏、低秩分解四个关键技术路径出发,梳理了各类方法的基本原理、典型方法和最新进展,并对主流技术进行了系统对比与总结。从推理效率、精度保持、部署难度等多个维度构建了评价体系,深入探讨了大语言模型压缩的评估指标和实验基准。最后,结合当前技术瓶颈,展望了大语言模型压缩的未来研究方向,为后续相关研究与工程实践提供了系统性参考。
来源:2026年第1期
《计算机科学与探索》期刊编辑部