计算机科学与探索杂志

计算机科学与探索杂志2023年第7期

• 视觉问答技术研究综述

  王虞, 孙海春

  视觉问答（visual question answering，VQA）是融合自然语言处理与计算机视觉技术的图-文跨模态热门任务。该任务以计算机智能识别与检索图像内容并给出准确答案为主要目标，融合应用了目标识别与检测、智能问答、图像属性分类、场景分析等多项技术，能够支撑许多前沿交互式人工智能高层任务，如视觉对话、视觉导航等，具有广泛的应用前景和极高的应用价值。近几年，计算机视觉、自然语言处理及图-文跨模态领域人工智能模型的发展为视觉问答任务的实现提供了许多新的技术和方法。主要对2019—2022年视觉问答领域的主流模型及专业数据集进行总结。首先，依据视觉问答任务实现的模块框架，对关键步骤中的主流技术方法进行综述讨论。其次，按照主流模型采用的技术方法，将该领域内各类模型进行细分，并简要介绍改进重点和局限性。随后，综述视觉问答常用数据集与评价指标，对几类典型模型性能进行对比阐述。最后，对现阶段视觉问答领域内亟待解决的问题进行重点阐述，并对视觉问答领域未来应用及技术发展进行预测和展望。

• 知识追踪研究综述

  吴水秀, 罗贤增, 熊键, 钟茂生, 王明文

  知识追踪，旨在根据学生的历史答题记录，对学生随学习时间不断变化的知识状态进行建模，进而预测学生的答题表现，是支撑智慧教育系统的核心模块，受到越来越多研究者的关注。全面梳理了该领域的研究进展，分析了与知识追踪相关的基础理论研究，并按照研究方法的不同，将知识追踪模型分为概率模型、逻辑模型、基于深度学习的模型进行剖析，其中概率模型假设学习遵循马尔可夫过程，逻辑模型是一类基于逻辑函数的模型，而基于深度学习的知识追踪模型依赖于深度学习强大的特征提取能力成为近年来研究的热点。对基于深度学习的知识追踪模型面临的可解释性、缺少学习特征等问题提出的改进方法进行了介绍。给出了目前可供研究者们使用的公共数据集以及不同模型的性能比较。最后，对知识追踪这个快速发展起来的领域进行了总结，针对该领域研究存在的问题，提出了一些未来可能的研究方向。

• 图像语义分割方法在高分辨率遥感影像解译中的研究综述

  马妍, 古丽米拉·克孜尔别克

  快速获取遥感信息对图像语义分割方法在遥感影像解译应用发展具有重要的研究意义。随着卫星遥感影像记录的数据种类越来越多，特征信息越来越复杂，精确有效地提取遥感影像中的信息，成为图像语义分割方法解译遥感图像的关键。为了探索快速高效解译遥感影像的图像语义分割方法，对大量关于遥感影像的图像语义分割方法进行了总结。首先，综述了传统的图像语义分割方法，并将其划分为基于边缘检测的分割方法、基于区域的分割方法、基于阈值的分割方法和结合特定理论的分割方法，同时分析了传统图像语义分割方法的局限性。其次，详细阐述了基于深度学习的语义分割方法，并以每种方法的基本思想和技术特点作为划分标准，将其分为基于FCN的方法、基于编解码器的方法、基于空洞卷积的方法和基于注意力机制的方法四类，概述了每类方法中包含的子方法，并对比分析了这些方法的优缺点。然后，简单介绍了遥感图像语义分割常用数据集和性能评价指标，给出了经典网络模型在不同数据集上的实验结果，同时对不同模型的性能进行了评估。最后，分析了图像语义分割方法在高分辨率遥感图像解译上面临的挑战，并对未来的发展趋势进行了展望。

• 可变形卷积网络研究综述

  刘卫光, 刘东, 王璐

  近年来，随着深度学习的快速发展，可变形卷积网络因其强大的特征提取能力受到广泛关注，克服了卷积神经网络中难以解决的一些问题，并且已在计算机视觉、自然语言处理等相关领域发挥重要作用。由于目前对可变形卷积网络进行系统性总结的研究还很少，为了给后续研究提供详细的参考依据，对可变形卷积网络引入以来的相关工作进行总结。首先，综述了近几年的高质量文献，从不变性特征的角度入手，对可变形卷积网络中的可变形卷积和可变形感兴趣区域池化等核心技术进行介绍。然后，将收集到的相关文献按照研究领域的不同进行分类，全面概括现阶段可变形卷积网络在图像识别和分类、目标检测、图像分割、目标追踪等研究领域的应用情况，同时还对比了重要网络模型的性能和优缺点。其次，通过梳理文献，分析可变形卷积网络存在的优势和不足，并根据现阶段存在的一些问题，探讨可变形卷积网络未来可能的研究趋势。最后，基于不变性特征的提取对可变形卷积网络进行了总结和展望。

• 深度特征的实例图像检索算法综述

  季长清, 王兵兵, 秦静, 汪祖民

  基于内容的图像检索算法（CBIR）目标是在数量庞大的图像数据库中通过分析视觉内容，找出与查询图像在语义上匹配或相近的图像。其中通过特征提取获得具有判别性的图像表示对检索结果至关重要。随着深度学习的不断发展，图像检索中使用的图像特征表示方法也逐渐由原来的基于手工特征的方法转变为基于深度特征的方法。通过从特征提取的不同方法角度出发，回顾并追踪了最近基于深度特征的图像检索算法。对基于深度特征的图像检索算法分为基于深度全局特征与基于深度局部特征的图像检索算法两方面进行综述，其中在基于深度局部特征算法中重点关注了深度卷积特征聚合技术。并对现在广泛应用的深度全局与局部特征融合的图像检索方法进行归纳。探讨了深度特征的实例图像检索技术在遥感图像检索、电子商务产品检索和医疗图像检索领域中的实际应用，并比较这些特征提取算法在图像检索精度方面的表现。最后展望了深度特征提取技术在实例图像检索领域的未来研究趋势。

• 面向大图子图匹配的多GPU编程模型

  李岑浩, 崔鹏杰, 袁野, 王国仁

  子图匹配是复杂网络中进行数据挖掘的重要手段。近年来，基于图形处理器（GPU）的子图匹配算法已展现明显的速度优势。然而，由于大图数据的规模宏大以及子图匹配的大量中间结果，单块GPU的内存容量很快成为了处理大图子图匹配算法的主要瓶颈。因此，提出了一种面向大图子图匹配的多GPU编程模型。首先，提出了基于多GPU的子图匹配算法框架，实现了子图匹配算法在多GPU上的协同操作，解决了GPU大图子图匹配的图规模问题。其次，采用了一种基于查询图的动态调节技术来处理跨分区子图集，解决了图划分导致的跨分区子图匹配难题。最后，结合GPU单指令多线程（SIMT）架构特性，提出一种优先级调度策略保证GPU的内部负载均衡，并设计了共享内存的流水线机制优化多核并发的缓存争用。实验表明，多GPU编程模型能够在数十亿级别的数据集上得到正确的匹配结果，与最新的基于GPU的解决方案相比，该算法框架能够获得1.2~2.6倍的加速比。

• 融合哈密顿图的麻雀与算术混合优化算法

  田露, 刘升

  针对麻雀搜索算法（SSA）迭代后期种群多样性减少、易陷入局部最优等问题，提出一种基于哈密顿图的麻雀算术混合优化算法（HSSAAOAH）。首先，在SSA发现者-跟随者模型和侦察机制的基础上，引入算术优化算法（AOA）的乘除算子。利用乘除算子的高分布性，提高算法在迭代后期解的多样性；其次，将种群中所有个体转化成一个无向加权图，在每一轮迭代后，使用改良圈算法计算个体构成的哈密顿环长度，根据相邻两代长度的比值衡量种群收敛趋势；然后，对于没能有效收敛的子代，随机生成一定数量的个体并使用贪婪策略进行选择，替代表现较差的个体，提高解的质量，增强跳出局部极值的能力；最后，将HSSAAOAH与不同优化算法在基准函数和两个工程设计问题上进行仿真实验，结果表明HSSAAOAH算法收敛速度更快，寻优精度更高，具有良好的鲁棒性和寻优性能。

• VC维期望上界最小化的最小二乘支持向量机

  李昊, 王士同

  机器学习是现代计算机技术中比较重要的一个方面，而其中的支持向量机方法也因其良好的性能近年来得到了广泛关注，被应用于各行各业当中。而支持向量机的性能可以用VC维来衡量，VC维是衡量机器复杂性的一种指标，理论上来说，低VC维可以得到很好的泛化。但是，对于以传统支持向量机为基础的一些分类器方法来说，VC维在处理各种各样的数据时，支持向量机的VC维的上界可能是无穷的。尽管在实践与应用中得到了很好的结果，但并不能保证很好的泛化，导致对于一些特殊的数据取得的效果不好。因此，提出了一种改进LSSVM的算法，以LSSVM算法为基础，将VC维上界最小化并找到其期望的最佳投影方案，最后带入到LSSVM算法中来对数据进行分类。实验结果表明，在所采用的基准数据集上，该分类器的错误率低于传统最小二乘支持向量机，这意味着，所提出的算法以近似的支持向量个数使得测试精度优于比较算法，提高了算法的泛化能力。

• 迭代式特征选择的单细胞分化轨迹推断算法

  何鸿坚, 殷依婷, 谢江

  通过单细胞轨迹推断方法从单细胞转录组学数据或蛋白质组学数据构建细胞的分化轨迹，有助于理解正常组织的发育过程或者提供病理学相关的信息。然而当前的单细胞轨迹推断算法在精确度和鲁棒性的提升上仍然是一个难题，原因之一是在单细胞测序中检测到大量不相关的基因而产生噪声。针对这一问题，迭代式特征选择的轨迹推断方法iterTIPD被提出。其创新点体现在，将广泛用于筛选差异表达基因的特征选择方法迭代式地用于线性或分支结构的单细胞RNA测序数据上，通过筛选出对构建的分化轨迹贡献最大的基因子集来提高细胞伪时间排序的精确度和鲁棒性。在四种scRNA-seq数据集上的实验结果表明，iterTIPD可以有效地提高单细胞轨迹推断算法的精确度和鲁棒性。同样，iterTIPD也使其他的轨迹推断算法的性能得到提升，以此证明iterTIPD具有泛化性。iterTIPD算法成功重构了神经干细胞的分化轨迹，通过对比发现，该分化轨迹与已知的神经干细胞分化轨迹高度一致。同时发现Top2a和Gja1可能是定义活化的神经干细胞亚群的新的标志物。

• 二维光谱图像的神经网络校正方法

  尹乾, 王燕, 郭平, 郑新

  二维光谱图像普遍存在畸变现象，这种畸变会影响抽谱操作，从而降低一维光谱数据的质量。针对上述问题，提出了一种有效的基于神经网络的二维光谱图像的校正方法。该方法首先从二维光谱图像中提取表示畸变特征的数据，即抽取平场光谱中每条光纤的中心线以及拟合定标灯谱中每个特定波长处的特征谱线，再根据这两组线构造数据集；然后设计神经网络模型，训练模型拟合图像校正前后的像素坐标值之间的关系，通过模型计算出校正图像的所有像素坐标值；最后根据原始畸变图像的通量值一一对应填充校正图像的通量值。分别用平场光谱、定标灯谱、目标光谱数据进行校正实验。与此同时，对比了目标光谱图像校正前后的抽谱结果。实验证明该方法能够有效校正弯曲的二维光纤光谱图像，并在一定程度上提升一维光谱数据的质量。

• 无锚框目标检测模型通道剪枝方法

  冉梦影, 杨文柱, 尹群杰

  针对无锚框目标检测模型主干网络参数冗杂度大、计算开销高以及检测速度慢等问题，提出双维度注意力引导的通道剪枝算法（CPDAM），以便对无锚框目标检测模型进行压缩。利用池化层和组归一化操作提升通道注意和空间注意子模块性能；采用通道分组策略融合改进后的通道注意和空间注意子模块，并经过不断训练，为每个通道生成一个尺度值用于表示该通道在分类任务上的重要程度；利用尺度值计算一个全局尺度值，并根据该值评估通道重要性对主干网络进行通道剪枝；在PASCAL VOC、ImageNet、CIFAR-100等常用数据集上对剪枝前后的无锚框目标检测模型进行实验验证，结果表明，在mAP仅损失0.6个百分点的前提下，剪枝前后的CenterNet-ResNet101参数量从6.995×107减少至2.238×107，FPS从27提升至46。

• 通道和异常适应性的目标跟踪算法

  姜文涛, 张博强

  针对现有空间正则化跟踪算法未考虑通道和异常适应性，在光照变化、遮挡和运动模糊等复杂跟踪场景下易产生跟踪失败的问题，提出通道和异常适应性的目标跟踪算法。首先，提取目标所在区域的方向梯度直方图和颜色特征，建立目标的外观模型；其次，提出通道加权策略并构造通道适应性正则项，同时在模型训练阶段优化通道权重，降低多通道特征中冗余信息和通道可靠性变化对跟踪性能的影响；然后，构造异常适应性正则项，通过约束跟踪响应图异常变化，提升画面快速变化时跟踪器的鲁棒性；最后，在检测阶段将滤波器与当前帧的样本相关运算得到目标尺度和位置信息，通过分析响应图的峰值与噪声平滑度来判断跟踪的遮挡情况以过滤低质量样本，增强目标被遮挡时跟踪器的异常适应性。在OTB50、OTB100和TC-128公共数据集上与多种先进算法进行对比实验，实验结果表明，所提算法在光照变化、遮挡、运动模糊等复杂场景下鲁棒性表现更好，跟踪成功率高于同类算法，并且精度更优。

• 兼顾个性特征和融合特征的阿尔茨海默病分类

  曹营利, 邓赵红, 胡曙东, 王士同

  智能诊断在阿尔茨海默病（AD）的诊断中已得到广泛研究，但已有的智能建模方法还不能充分利用多模态的数据信息，以至于在病程早期阶段的诊断中出现识别精确度不高的问题。为提高阿尔茨海默病及其早期阶段智能诊断的效果，提出一种兼顾个性特征和融合特征的阿尔茨海默病分类方法。首先使用超图卷积网络（HGCN）对MRI、PET和CSF三个模态的数据分别进行特征提取，以获得每个模态的高阶深度特征。同时通过低秩多模态融合对这三个模态的数据进行特征融合，以获得多个模态之间的隐藏关联特征。最后通过一个多视角分类器对以上获取的特征进行综合分类。利用ADNI数据集对阿尔茨海默病进行多组任务分类，以验证所提方法。与其他先进方法相比，该方法在保证AD阶段分类效果的情况下，有效提高了病程早期阶段的分类精度。

• 面向方面抽取与情感分类的多任务联合建模

  孟甜甜, 韩虎, 吴渊航

  基于方面的细粒度情感分析包括方面术语抽取和方面情感分类两项任务，以独立方式解决以上两项任务的研究方法无法利用彼此之间的关联信息，同时也会造成训练冗余和资源浪费。针对上述问题，在多任务学习框架下提出一种基于位置嵌入和图卷积网络的联合模型（PE-GCN），以端到端方式整体解决方面术语抽取和方面情感分类。该模型首先通过双向门控循环单元网络学习句子的语义特征表示；随后利用位置嵌入增强句子中方面术语的识别，同时使用图卷积网络生成包含句法信息的上下文表示；最后通过交互注意力网络建模上下文和方面术语之间的语义关系，并通过softmax输出方面术语的情感极性。在SemEval-2014公开数据集上的实验结果表明，提出的模型与其他现有模型相比性能有显著的提升。

• 采用新型元路径的异构图表示学习方法

  张程东, 王绍卿, 刘玉芳, 郑顺, 孙福振

  图神经网络已经成为推荐系统领域的一种主要方法。很多研究把元路径融入到异构图神经网络中，但绝大多数元路径的定义方式只考虑节点之间是否存在连接。而在异构图中同一个节点可能被多条不同类型的边所连接，如用户对物品的浏览、加入购物车、购买等不同交互行为，按照传统的元路径定义方式进行实例化会因为忽略了边的类型而导致学习的节点embedding不准确。针对上述问题，提出一种在异构图上把边类型融入到元路径的方法，使节点在每个场景下得到单独训练。然后，使用图注意力机制将不同场景下的同一节点的embedding进行聚合，最终得到该节点的embedding。并用来预测用户与未交互的物品之间的行为关系，从而达到向用户推荐物品的目的。实验表明，提出的算法在三个公开数据集上都取得了性能提升，在阿里天池赛数据集上[F1]、ROC-AUC和PR-AUC指标分别提高了8.75%、6.03%和4.86%。

• 基于双集合预测网络的实体关系联合抽取模型

  彭晏飞, 王瑞华, 张睿思

  实体关系抽取任务旨在从非结构化文本中识别出实体和实体间的关系，是目前大规模知识图谱构建和更新的技术来源。在现有的实体关系联合抽取方法中，并行解码三元组的方法通过集合预测的方式高效生成三元组，然而这种方法忽略了实体与关系间、实体主客体间的交互，导致生成无效三元组。针对此问题，提出基于双集合预测网络的实体关系联合抽取模型。为了增强关系和实体之间的交互，采用双集合预测网络并行解码三元组，顺序生成三元组中实体信息和关系类型：第一个集合预测网络对三元组集合建模并解码出三元组内的主客体信息，第二个集合预测网络对融合了主客体信息的三元组嵌入集合建模并解码出主客体间的关系类型；针对实体主客体设计了一个实体过滤器，预测句子中实体间的主客体相关性并依照该结果过滤掉主客体相关性较低的三元组。在公开数据集纽约时报（NYT）和WebNLG上的实验结果表明，在编码器为BERT的情况下所提模型相较基线模型在准确率和F1指标上的效果更好，验证了该模型的有效性。

• 高性能计算环境多源用户认证方法研究与实现

  和荣, 肖海力, 王小宁, 迟学斌

  高性能计算（HPC）环境屏蔽了作业管理系统、接入方式、管理制度等方面的异构性，为科研人员提供了具有统一访问入口、统一使用方法和用户技术支持的高水平高性能计算应用服务。随着环境的发展，接入的超算中心以及应用社区和业务平台越来越多，希望超算中心以及社区和业务平台用户能够以原有账号登录高性能计算环境使用资源。现有的高性能计算环境仅支持通过LDAP认证的网格账号登录，应用社区和业务平台都有自己的用户且认证方式各不相同。为使环境提供一个统一的认证中心，研究了多源用户认证技术并开发实现了多源用户认证与授权系统。目前，高性能计算环境的认证中心已支持部分超算中心集群账号。“高性能计算”专项中的各大社区和业务平台通过多源用户认证技术也实现了与国家高性能计算环境的对接，且对接后社区和平台用户与环境网格用户可互登录并使用相关资源。

• 车联网区块链吞吐量优化的深度强化学习方法研究

  张立, 段明达, 万剑雄, 李雷孝, 刘楚仪

  区块链应用于车联网（IoV）可以有效解决车联网数据安全和隐私等问题。但是，区块链吞吐量低的问题阻碍了其在车联网中的广泛应用。已有的区块链吞吐量优化研究大都存在决策行为空间爆炸的问题，可扩展性较差。针对上述问题，提出了一种基于深度强化学习（DRL）的区块链车联网吞吐量优化方法，通过选择区块生产者和共识算法，调整区块大小和区块间隔优化区块链的吞吐量，同时保证IoV区块链的去中心化、延迟和安全性。该方法通过引入BDQ框架将行为空间进行细粒度划分，解决了区块链使用传统深度强化学习方法对吞吐量进行优化时出现的行为空间爆炸问题。仿真结果表明，提出的方法可以有效地提高IoV区块链系统的吞吐量。

• 区块链多矿池恶意攻击模型研究

  刘强, 宋宝燕, 纪婉婷, 王俊陆

  区块链中针对交易的双花攻击是区块链安全的研究重点，矿池作为大的算力集合有潜在的作恶行为，其中多个矿池结合起来可通过不同攻击形式对交易进行双花攻击，给区块链带来巨大的安全隐患。基于多矿池的恶意攻击组合方式，提出两种多矿池恶意攻击模型。首先，在多矿池集中攻击模型中，多个矿池算力聚合为一个恶意算力集，集中对区块链双花攻击。其次，多矿池分散攻击模型中，每个矿池为独立恶意算力集，分散同步对区块链算力攻击；此外结合矿池数量、算力占比等参量，模拟推导两种多矿池模型内部运行机制；基于该机制，构建两种攻击模型的安全性约束。实验验证了两种矿池攻击模型的有效性，数据化呈现两种多矿池攻击模型异同以及攻击规律。最后，结合理论模型和实验结果分析给出防控策略。