计算机科学与探索

作者：董欣, 俞鹏飞, 顾晶晶

单位：南京航空航天大学 计算机科学与技术学院, 南京 211106

关键词：遥感视觉问答,大语言模型,跨模态扩展,遥感微调指令集,轻量级模型,提示推理

基金：国家自然科学基金（62072235）。

随着遥感技术的快速发展，遥感视觉问答（RSVQA）作为一种结合语言与视觉交互的新兴技术，显著提升了地球观测、环境监测等领域中遥感图像信息的解读效率和交互能力。然而，RSVQA仍面临遥感图像信息复杂度高、遥感图像-文本对齐数据稀缺，以及文本问题表达形式多样等挑战。为了应对这些挑战，提出一种面向RSVQA的跨模态知识引入与提示推理框架（CMKIP）。针对遥感图像的高复杂度，CMKIP为大语言模型LLaMA构建可学习的图像特征适配器，以具备对复杂图像的表征能力；针对遥感图像-文本对齐数据稀缺问题，构建自动化数据生成管道，从公开遥感数据集中生成高质量的图像-文本对，实现高效的遥感领域知识注入；针对问题表达的多样性，创新性地提出一种大小模型协同推理机制，利用小模型进行知识库检索与中间推理校正，显著提升大语言模型对多样化问题的理解能力与推理准确性。此外，CMKIP支持根据任务需求灵活更换小模型，可广泛应用于遥感领域的多项下游任务。实验结果表明，CMKIP在RSVQA基准数据集上的性能显著优于现有方法，特别是在低样本场景下表现尤为突出，展示了其在RSVQA任务中的有效性和泛化性。

来源：2026年第3期

《计算机科学与探索》期刊编辑部

查看计算机科学与探索杂志2026年第3期