计算机科学与探索

作者：刘颖, 郭莹莹, 房杰, 范九伦, 郝羽, 刘继明

单位：1.西安邮电大学 图像与信息处理研究所,西安 710121；2.陕西省无线通信与信息处理技术国际合作研究中心,西安 710121；3.西安邮电大学 电子信息现场勘验应用技术公安部重点实验室,西安 710121；4.西安邮电大学 通信与信息工程学院,西安 710121

关键词：跨模态检索,深度学习,特征学习,图文匹配,实值表示,二进制表示

基金：国家自然科学基金(62071378)

随着深度神经网络的兴起,多模态学习受到广泛关注。跨模态检索是多模态学习的重要分支,其目的在于挖掘不同模态样本之间的关系,即通过一种模态样本来检索具有近似语义的另一种模态样本。近年来,跨模态检索逐渐成为国内外学术界研究的前沿和热点,是信息检索领域未来发展的重要方向。首先,聚焦于深度学习跨模态图文检索研究的最新进展,对基于实值表示学习和基于二进制表示学习方法的发展动态进行了详细介绍,其中,基于实值表示的方法用于提升跨模态语义相关性,进而提高跨模态检索准确度,基于二进制表示学习的方法用于提升跨模态图文检索效率,减小存储空间;其次,总结了跨模态检索领域常用的公开数据集,对比了不同算法在不同数据集上的性能表现;此外,总结并分析了跨模态图文检索技术在公安、传媒及医学等领域的具体应用情况;最后,结合现有技术探讨了该领域的发展趋势及未来研究方向。

来源：2022年第3期

《计算机科学与探索》期刊编辑部

查看计算机科学与探索杂志2022年第3期