计算机科学与探索

作者：耿耀港, 梅红岩, 张兴, 李晓会

单位：辽宁工业大学 电子与信息工程学院,辽宁 锦州 121000

关键词：图像标题生成,编码,解码,多模态,注意力机制

基金：国家自然科学基金青年项目(61802161);辽宁省教育厅科学研究项目(JZL202015404);辽宁省教育厅科学研究项目(LJKZ0625);辽宁省教育厅面上项目(LJKZ0618)

近年来,图像标题生成作为人工智能领域中的多模态任务,融合了计算机视觉和自然语言处理的相关研究,能够实现从图像到文本的模态转换,在视觉辅助和图像理解等方面有着重要作用,备受研究者们的广泛关注。首先对图像标题生成任务进行了阐述,介绍了三种图像标题生成方法,基于模板的方法、基于检索的方法和基于编码-解码的方法以及各自的方法思路、代表性研究和优缺点。其次从方法的模型构成、图像理解阶段和标题生成阶段的研究进展等方面对基于编码-解码的方法进行了详细阐述。将近年来的研究总结归纳为图像理解方面的研究和标题生成方面的研究,其中图像理解方面的研究包括注意力机制的研究和语义获取方面的研究,标题生成方面的研究分为传统标题、密集标题和个性化标题生成的研究,并总结了模型性能及优缺点,介绍了图像标题生成模型进行性能评估的数据集和评测指标。最后指出图像标题生成领域研究面对的挑战和难点。

来源：2022年第10期

《计算机科学与探索》期刊编辑部

查看计算机科学与探索杂志2022年第10期