计算机科学与探索

作者：张虎成, 李雷孝, 刘东江

单位：1. 内蒙古工业大学 数据科学与应用学院，呼和浩特 010080 2. 内蒙古自治区基于大数据的软件服务工程技术研究中心，呼和浩特 010080

关键词：深度学习,多模态融合,模态对齐,多模态应用

尽管深度学习强大的学习能力已经在单一模态应用领域取得了优异成果，但研究发现单一模态的特征表示很难完整包含某个现象的完整信息。为了突破在单一模态上特征表示的阻碍，更大化利用多种模态所蕴含的价值，学者们开始提出利用多模态融合的方式去提高模型学习性能。多模态融合技术是让机器在文本、语音、图像和视频中利用模态之间的相关性和互补性融合成更好的特征表示，为模型训练提供基础。目前多模态融合的研究仍处在发展初期阶段，从近几年多模态融合的热门研究领域为出发点，阐述多模态融合方法和融合过程中的多模态对齐技术。重点分析多模态融合方法中的联合融合方法、协同融合方法、编码器融合方法和分裂融合方法在多模态融合中的应用情况与优缺点，阐述在融合过程中的多模态对齐的问题，包括显式对齐和隐式对齐以及应用情况与优缺点。阐述近几年多模态融合领域中热门数据集在不同领域的应用。阐述多模态融合所面临的挑战以及研究展望，以进一步推动多模态融合的发展与应用。

来源：2024年第10期

《计算机科学与探索》期刊编辑部

查看计算机科学与探索杂志2024年第10期