计算机科学与探索杂志

计算机科学与探索杂志2024年第10期

• 多模态数据融合研究综述

  张虎成, 李雷孝, 刘东江

  尽管深度学习强大的学习能力已经在单一模态应用领域取得了优异成果，但研究发现单一模态的特征表示很难完整包含某个现象的完整信息。为了突破在单一模态上特征表示的阻碍，更大化利用多种模态所蕴含的价值，学者们开始提出利用多模态融合的方式去提高模型学习性能。多模态融合技术是让机器在文本、语音、图像和视频中利用模态之间的相关性和互补性融合成更好的特征表示，为模型训练提供基础。目前多模态融合的研究仍处在发展初期阶段，从近几年多模态融合的热门研究领域为出发点，阐述多模态融合方法和融合过程中的多模态对齐技术。重点分析多模态融合方法中的联合融合方法、协同融合方法、编码器融合方法和分裂融合方法在多模态融合中的应用情况与优缺点，阐述在融合过程中的多模态对齐的问题，包括显式对齐和隐式对齐以及应用情况与优缺点。阐述近几年多模态融合领域中热门数据集在不同领域的应用。阐述多模态融合所面临的挑战以及研究展望，以进一步推动多模态融合的发展与应用。

• 动态二进制翻译技术综述

  张锦, 单泽虎, 刘晓东, 王文竹, 余杰, 彭龙, 谢启友

  在构建国产软件生态系统中，解决程序的兼容性问题至关重要。随着计算机架构的多样化发展，确保软件能够在不同平台和硬件环境中顺畅运行，已经成为当下软件开发过程中的一项紧迫任务。在此背景下，动态二进制翻译（DBT）技术展现出其重大意义。作为一种实现不同指令集架构（ISA）之间程序或软件互操作性的核心技术，DBT通过运行时指令转换，不仅实现了软件跨平台的兼容运行，也极大地扩展了软件的适用范围和灵活性。然而，DBT技术的引入同样对系统在运行效率和资源利用率方面提出了更高的要求。对DBT技术的相关内容进行了综述，包括其基本工作原理、研究进展、关键技术以及相应的优化方法。介绍了DBT技术的基本原理及发展历程。详细阐述了DBT的研究进展，尤其是在提高翻译准确性和执行效率方面所取得的重要成果。进一步地，对六类DBT优化技术特性进行了介绍，这些技术包括：基于运行时优化、基于控制流优化、基于指令级优化、基于安全性与隔离性优化、基于资源管理优化以及基于软硬件协同优化。分别基于这些关键技术进一步分类总结，介绍了各自的优化技术及面临的挑战。从技术发展趋势、应用领域扩展、性能提升策略等多个角度，对DBT技术未来的研究方向和发展前景进行了探讨。

• 分布式服务资源自适应弹性伸缩研究综述

  胡程, 陈仕鸿

  分布式服务资源环境下，由于峰值负载的整体占比很小，大量服务资源长期处于低利用率甚至闲置状态。通过实现资源自适应弹性伸缩，在高负载时扩充服务资源以应对高需求，在低负载时将其缩减以降低开销，可显著提升系统能效并降低运作开销。但实际负载通常具有很强的波动性，满足服务质量所需的服务资源持续变化，这给服务资源自适应弹性伸缩带来了巨大挑战。尽管现有的商用分布式平台已普遍具有一定的资源弹性伸缩能力，但它们的自适应能力有限、精准性不佳，存在很大提升空间。为促进该领域的研究与应用发展，就该环境下服务资源自适应弹性伸缩研究进行分类分析与探讨。分析并介绍了相应的研究背景及主要存在于需求评估与资源调整上的挑战；就该领域的国内外相关研究，依据其调整的资源对象分为三类，以此进行分类论述并比较了各研究工作的异同，且就各自的特点与效用进行了分析与总结；总述分析了这些研究工作并概括出一个全面而整体的实现，探讨了业界的应用现状、研究面临的挑战以及未来趋势。

• 区块链在PKI安全中的应用研究

  夏玲玲, 王 群, 马卓, 梁广俊

  重应用、轻防御的设计思想致使传输控制协议/网际协议（TCP/IP）体系结构设计之初就缺乏内生安全属性，使得公钥基础设施（PKI）作为实现互联网不同实体之间通信真实性、完整性、机密性和不可抵赖性的安全治理权威架构自提出以来就备受关注，同时PKI自身因其中心化机制带来的单点故障和单一信任等安全威胁也成为近年来研究者关注的热点。随着区块链技术逐渐应用于信息安全领域，利用区块链的去中心化、分布式账本、防篡改、公开透明等特点来解决原生PKI及其演进过程中出现的各类安全问题成为一个研究方向和重点。根据PKI技术的发展及区块链技术的应用，将解决原生PKI安全的方法分为以信任网络（WoT）技术和证书透明度（CT）机制为主的不依赖区块链的解决方案，保留认证机构（CA）核心功能的融入区块链技术的中心化PKI方案，以及用区块链完全替代CA功能的基于区块链的去中心化PKI方案。介绍了原生PKI的安全现状，讨论了分别利用WoT技术和CT机制对原生PKI的安全性进行改造的具体方法，重点分析了融入区块链技术的中心化PKI以及基于区块链的去中心化PKI的设计思想，并分别选择了部分典型应用场景就其实现方法和应用特点进行了有针对性的剖析，对区块链在PKI安全中的应用研究进行了展望。

• 基于大语言模型的命名实体识别研究进展

  梁佳, 张丽萍, 闫盛, 赵宇博, 张雅雯

  命名实体识别旨在从非结构化的文本中识别出命名实体及类型，是问答系统、机器翻译、知识图谱构建等自然语言处理技术中一项重要的基础任务。随着人工智能技术的发展，基于大语言模型的命名实体识别技术成为一大研究热点。对基于大语言模型的命名实体识别最新研究进展进行综述，概述大语言模型和命名实体识别的发展历程，简要介绍命名实体识别任务常用的数据集和评估方法，从基于规则和字典、基于统计机器学习和基于深度学习的命名实体识别方法这三方面对目前传统命名实体识别研究工作进行梳理。按照模型架构详细阐述不同大语言模型如何应用于不同领域的命名实体识别任务，并对存在的问题和改进的方向进行分析。总结当前基于大语言模型的命名实体识别任务面临的挑战，并展望未来的研究方向。

• 面向中医药大模型的知识增强方法研究

  吉祥宇, 王鑫, 张鹤译, 孟昭鹏, 张俊华, 庄朋伟, 贾勇哲, 徐大为

  近年来，大语言模型（LLM）在各个领域取得了许多重大成果。由于缺乏专业知识，以及中医和现代医学的思想不同，大模型在中医药领域的应用仍是一项挑战。现有的知识增强方法难以保持中医方剂具有的自身结构性。为了解决以上问题，提出了一种新的知识增强方法。该方法由模型训练、图谱构建和知识增强三部分组成。在模型训练阶段，通过对基础大模型在中医药数据集上进行预训练和微调两阶段训练，得到中医药领域大模型。在图谱构建阶段，基于中医十万首经典方剂和古籍中的方剂，利用清洗后的数据集构建中医药图谱。在知识增强阶段，基于对知识图谱上信息的计算，利用检索图谱中的专业知识和图谱结构计算检索结果，中医药方剂中的结构特性得以保留。在中医药方剂配伍任务上，针对于任务特性提出了一组评价标准，包括主观指标和客观指标，用于评估模型在该任务上的表现。实验表明，该方法相对于基准测试模型，在主观指标和客观指标上均获得了较大提升，BLEU-1最高提升0.09，ROUGE-1最高提升0.21。消融实验表明，该方法对于模型在该任务上具有较大作用，未使用知识增强的模型BLEU-1相比于使用知识增强下降约37%。

• 基于大语言模型的公安专业小样本知识抽取方法研究

  裴炳森, 李欣, 蒋章涛, 刘明帅

  当前公安业务工作信息化、数字化飞速发展，在公安工作中产生了大量执法办案数据，但是其文本种类较多、信息量较大，导致一线民警在阅卷工作中常面临阅读效率低、信息难以聚合等问题。为更进一步利用执法办案文本，需要对其进行智能分析、知识抽取，但受限于公安专业执法办案文本的专业性、数据敏感性、保密性，以及公安数据出网要求等，仅能获取到少量学习训练样本，使用传统的深度学习模型抽取效果不尽如人意。因此提出使用较少资源和数据构建垂直领域大语言模型，实现模型对公安专业适配的方法，利用知识编辑技术MEMIT、低资源微调技术LoRA、提示模板，提高模型对警务术语、警务常识等公安知识的理解能力。为进一步提高模型的知识抽取效果，设计小样本执法办案文本数据抽取流程，以更好结合模型中的相关案别专业知识。实验结果表明，融合抽取流程的公安专业垂直领域大语言模型在各类知识抽取任务中准确率较之传统方法显著提高，有助于帮助一线民警快速、客观、准确分析执法办案文本，挖掘案件潜在信息，支撑公安工作智能化发展。

• 融合大模型与图神经网络的电力设备缺陷诊断

  李莉, 时榕良, 郭旭, 蒋洪鑫

  电力系统中不同装置设备的缺陷评级和分析处理常受运维人员主观性影响，导致同一缺陷文本描述出现不同的严重程度评级。专业知识的差异也导致诊断分析差异和诊断效率不同。为提升缺陷诊断的准确性和效率，提出一种基于图神经网络的缺陷文本评级分类方法和大模型智能诊断分析助手。构建专业词典，使用自然语言处理算法规范化文本描述。通过统计方法，优化缺陷文本的语义表示。集成图注意力神经网络和RoBERTa模型对缺陷文本进行精确评级分类。基于大语言模型Qwen1.5-14B-Chat进行低秩适配（LoRA）微调训练得到电力设备诊断大模型Qwen-ElecDiag，结合检索增强生成技术开发设备缺陷诊断助手。此外，整理提供微调电力设备诊断大模型的指令数据集。对比实验结果表明，提出的基于图神经网络的缺陷评级分类方法在准确性上较最优基准模型BERT提升近8个百分点；诊断助手的电力知识以及缺陷诊断能力得到提升。通过提高缺陷评级的准确率并提供全面专业化诊断建议，不仅提高电力设备运维的智能化水平，也为其他垂直领域的智能运维提供新的解决方案。

• 基于大语言模型的知识图谱构建及应用研究

  张才科, 李小龙, 郑胜, 蔡家骏, 叶小舟, 罗静

  海量核电分布式控制系统（DCS）运维数据蕴含着丰富的运维经验和专家知识，如何有效地从中抽取DCS报警响应相关信息并形成知识服务，是目前核电DCS快速响应的热点和前沿研究。由于核电DCS多源异构数据缺乏明确的结构和规范，以往的知识抽取主要依赖人工标注和深度学习的方式进行，但需要具备广泛的领域知识和信息处理能力，且受限于繁重的数据标注工作。提出了分步提示策略的大语言模型知识抽取方法，构建了DCS运维知识图谱；并基于大语言模型技术和二次意图识别方法，利用知识图谱开展智能问答等知识服务。通过以某核电厂DCS运维数据为例，重点就知识抽取、图谱构建、智能问答开展实例研究。结果表明，模型的总体精确率、召回率和F1值分别为91.24%、85.85%和88.43%，能够较为全面地获取DCS多源异构运维数据中的关键实体及属性信息，指导开展领域知识问答，有助于运维人员及时响应DCS报警异常，分析总结故障原因及响应策略，为后期的电厂DCS运维的培训和维护提供借鉴和参考。

• 融合社团信息的时序图链路预测算法

  吴翔, 高玉金, 李荣华, 王国仁

  时序图旨在表示现实世界中实体之间的时序交互关系，而时序图链路预测是建模这种关系的重要方法。现有基于表示学习的时序图链路预测方法通常基于时序图神经网络建模节点之间交互，并将时间信息融入到图神经网络的消息传递机制中以捕捉交互中的时序关联。时序图神经网络输出的节点嵌入作为时序图表示学习的结果被用于链路预测任务。然而，现有的方法仅考虑了节点之间的交互，而忽视了时序图中广泛存在的社团结构。为解决这一问题，提出一种融合社团信息的时序图链路预测算法（TLPC）。不同于传统社区划分的方法，该方法关注节点邻域社团的表示学习。在节点特征的基础上，引入对比学习技术，使用邻域结构特征采样出正样本和负样本进行对比学习约束，以编码节点所在邻域社团。所学习到的节点邻域社团编码可以有效提升节点嵌入的表示能力，从而提升链路预测的有效性。在四个真实数据集上的时序链路预测任务的实验结果表明，TLPC的准确率相比现有方法平均提升6.47%，F1平均提升6.77%，同时训练时间平均减少62.27%。

• 高阶结构增强的跨视图无负样本对比的图异常检测算法

  金虎, 胡婧韬, 王思为, 祝恩, 罗磊, 段景灿

  图异常检测在网络安全、金融评估和医疗保健等多个领域都有广泛的实际应用。近年来，基于对比学习和基于生成重构的图异常检测算法框架取得了显著的性能提升。然而，大多数基于图神经网络的范式忽略了一个内在的缺点，即可能会无意识地将异常节点与其邻域正常节点聚合在一起。此外，现有的检测算法缺乏对高阶结构信息的关注，导致正常节点与异常节点之间的判别性下降。为了改善以上缺点，提出了一种高阶结构增强的跨视图无负样本对比的图异常检测算法（CNCL-GAD）。与现有的单视图对比范式不同，提出了以高阶结构信息作为增强视图，通过多视图对比学习方法为图异常检测任务（GAD）引入更多、更丰富的判别信息。为了缓解图异常检测任务中正常样本与异常样本类别不平衡导致的对比负样本对大多数是同一类别的现象，提出了跨视图无负样本对比策略，即只将两个视图之间的正样本子图对拉近。将视图内节点-子图对比模块、属性重构模块和跨视图子图-子图对比模块联合训练，以获得更好的检测性能。在现有的公开数据集上进行了大量实验，与其他竞争算法相比，所提出的算法实现了有竞争力甚至更优越的性能。

• 基于混合存储结构的分级协同节能方案

  李大平, 史庆宇, 唐忆滨, 胡哲琨, 高毅

  新能源的应用已成为一种趋势，但具体到存储I/O领域，存储设备通常会根据存储负载的强度进行节点调度，而不规则波动的新能源和存储负载之间存在波峰波谷错位匹配的问题，增加了存储设备的调度难度。提出了一种针对NVM-SSD混合存储介质的分级协同节能方案MixSave，为每一层提供定制化节能方案并且协同调度，提升了新能源能效比。基于NVM和SSD存储介质的性能与能耗特点，MixSave采用NVM-SSD的高性价比分级存储架构，为用户提供高性能、大容量存储服务，并且通过副本保证数据可靠性。NVM作为缓存层采用负载驱动型方案，以保证性能为优先目标，即根据负载变化动态调整高功耗状态的NVM设备数量，满足负载需求；SSD作为数据层采用新能源驱动型节能方案，以提升新能源利用率为目标，根据新能源的变化动态调整SSD启用数量，进行缓存数据同步与预取。测试表明，与未采取节能措施的标准方案相比，MixSave性能下降不超过4%，在轻负载模式下，MixSave可节省73%~80%的传统能源，在重负载模式下，可节省55%~61%的传统能源。

• 基于双路径编码的遥感建筑物图像分割方法

  苏赋, 李沁, 马傲

  高分辨率遥感图像建筑物分割是遥感影像研究的热点之一，而高分辨率遥感图像中建筑物尺度多样容易导致错分割、漏分割和边界模糊。针对上述问题，基于U-Net网络结构提出了一种双路径编码的遥感建筑物图像分割网络（DCU-Net）。DCU-Net在U-Net上加入一条并行编码路径，形成双路径编码结构。在编码阶段设计了密集残差编码模块（DRCM）和多尺度空洞卷积编码模块（MDCCM）以增强多尺度特征提取。在网络中加入双路融合注意力模块（DFAM），增强网络对特征的表达能力。为验证网络有效性，在WHU与Massachusetts数据集上进行实验，召回率、F1分数和交并比指标在WHU上达到91.26%、92.33%和86.15%，在Massachusetts Buildings上达到81.64%、84.33%和82.72%。结果表明，DCU-Net对于不同尺度的建筑物提取有较高的提取精度。

• 融合Partial卷积与残差细化的遥感影像建筑物提取算法

  侯佳兴, 齐向明, 郝明, 张进

  由于高空间分辨率遥感图像中背景与建筑物对象的相似度高，导致网络难以兼顾不同大小的建筑物，建筑边界区域的像素与背景混淆，建筑边界很容易被漏检。为解决上述问题，提出融合Partial卷积与残差细化的遥感影像建筑物提取算法（UUNet）。以U-Net为基线网络，首先，改进编码器。在编码器前端加入两个Conv4×4，在最初扩大感受野，捕捉更多遥感影像特征信息，利用Partial卷积（PConv3×3）构造的PC模块，增强编码器提取多尺度建筑物特征的能力，用Conv2×2进行两倍下采样，减少建筑物特征信息丢失。其次，减少参数量。裁剪U-Net网络解码器三层结构为UUNet网络解码器。最后，增加改进的残差细化模块。在解码器输出端构造裁剪到三层结构的U型残差细化模块，对解码器输出的粗糙建筑物特征图进行进一步提纯，使建筑物边缘信息更加清晰，网络解码器与U型残差细化模块编码器进行跳跃连接，保留最初特征，将SimAM嵌入细化模块中，提高建筑物关注度，优化网络改善边界模糊，提升目标边界提取质量。在Satellite dataset Ⅱ（East Asia）数据集上进行消融实验，UUNet比U-Net的IoUBuilding、IoUBackground、F1、OA和MIoU分别提高2.78个百分点、0.12个百分点、1.91个百分点、0.19个百分点、1.45个百分点，表明UUNet网络优于基线网络；在Satellite dataset Ⅱ （East Asia）数据集和WHU数据集上做对比实验，UUNet相较于现有的主流算法更优，能够显著地提升高分辨率遥感影像中建筑物提取的效果。

• 深度检测方法中融合大小感受野机制的下采样算法

  顾正华, 刘嘎琼, 邵长斌, 于化龙

  深度目标检测模型的性能优势主要受益于主干网络的特征表达能力，其中的下采样操作是执行语义集成的关键步骤。然而，现有下采样方法采用的小感受野机制，通常会导致采样特征存在全局性结构信息不足的局面。对此，提出了一种即插即用的双支路下采样方法（DPDM）。该方法采用附加大感受野采样支路的方式来改善主干网络对后期检测的支撑效果。在保留传统小感受野下采样操作的前提下，DPDM构建了一个兼顾效率的大感受野采样支路，来添加采样特征的结构性信息。该支路借鉴空间转深度操作，实现了常规小卷积核设置下的大感受野采样功能。双支路采样操作增加了采样多样性，但并未考虑两者之间的协同。因此，该方法随后采用通道拼接和逐点卷积技术，将两者进行了融合。以当前性能占据优势的YOLO系列模型为基准，在三个不同模型（YOLOX、YOLOv5、YOLOv6）及多个数据集上的实验对比，验证了该方法在改善检测精度上的效用。

• 融合用户关系表示和信息传播拓扑特征的信息传播预测

  吴运兵, 高航, 曾炜森, 阴爱英

  信息传播预测旨在分析信息传播网络或社交媒体中信息扩散的规律，以理解和预测信息的传播过程。现有工作主要关注用户群体关系中的社交关系和动态影响关系，忽略了群体关系中用户间相似性关系和个体关系中内在因素对用户转发信息的影响。为此，提出了融合用户关系表示和信息传播拓扑特征的信息传播预测模型，从群体关系和个体关系两个层面分析用户受信息影响的可能性。在群体关系层面，构建用户共现次数图来学习用户相似性关系表示，随后融合了用户关系表示和信息传播拓扑特征来更全面地捕捉群体关系；在个体关系层面，融合了用户个体特征表示和影响因素向量，以捕捉不同的内在因素对刺激用户转发信息的影响。实验结果表明，该模型在两个公开数据集上性能均有提升，在Memetracker数据集上[MAP@k]和[hits@k]评价指标分别平均提升了6.54%和2.75%。

• 多样性诱导和正交非负图重构的多视图聚类

  王茜, 周世兵, 杨明瑞, 宋威

  基于图学习的多视图聚类算法由于其简单高效的特点，近年来受到了广泛关注。现有的多视图聚类算法大多只考虑每个视图的一致性，忽略了不同视图间的多样性，而且这些方法直接从原始数据点学习相似图，不能显示出清晰的聚类结构和准确提取数据集底层信息。为了解决上述问题，提出通过多样性诱导和正交非负图重构的多视图聚类算法（DOMVC）。在统一的框架内充分利用多视图的一致性和多样性，使得一致部分结合自适应权重融合到目标图中产生更加合理的聚类结构。集成谱聚类和非负矩阵分解来获取结构更加清晰的聚类目标图。将非负矩阵分解的一个因子矩阵约束为正交指示矩阵，从而直接得到聚类结果。该算法根据每个视图的聚类能力自动分配合适的视图权重。为了联合求解优化问题，引入交替迭代策略来优化聚类算法的目标函数。实验结果表明该算法可以有效提高聚类准确率，在数据集HW2、100leaves、Mfeat上的准确率分别达到99.21%、89.56%、87.85%，与次优模型相比分别提高了0.81个百分点、5.12个百分点、3.75个百分点。理论分析和实验研究证明了该算法的有效性和优良性能。

• 多尺度视觉特征提取及跨模态对齐的连续手语识别

  郭乐铭, 薛万利, 袁甜甜

  连续手语识别研究中，视觉特征的有效表示是提升识别效果的关键。然而，手语动作时序长度的差异性及手语弱标注现象，使得有效的视觉特征提取更加困难。针对上述问题，提出了多尺度视觉特征提取及跨模态对齐的连续手语识别方法（MECA）。该方法主要包含多尺度视觉特征提取模型和跨模态对齐约束。在多尺度视觉特征提取模型中，并行地融合具备不同扩张因子的瓶颈残差结构，来丰富多尺度时序感受野，用于提取不同时序长度的手语视觉特征，同时采用层级复用设计进一步强化视觉特征表示。在跨模态对齐约束中，采用动态时间规整建模手语视觉特征和文本特征之间的内在联系，其中，文本特征提取由多层感知机和长短期记忆网络协作实现。在具备挑战性的公开数据集RWTH-2014、RWTH-2014T、CSL-Daily上进行实验，结果表明所提方法达到目前具有竞争力的性能。上述实验验证了所提的采用多尺度的方式可以捕捉不同时序长度的手语动作，以及构建跨模态对齐约束的思路是正确且有效的，适用于弱监督条件下的连续手语识别任务。

• 基于混合动态掩码与多策略融合的医疗知识图谱问答

  王润周, 张新生

  医疗知识图谱问答结合医学知识和自然语言处理技术，为医疗从业者和患者提供准确、快速的问答服务。随着数据激增，现有的中文医疗知识图谱不够全面，并且医学问题复杂多义，准确识别实体信息、生成通俗易懂的回答仍有挑战。提出了一种基于混合动态掩码与多策略融合的医疗知识图谱问答框架。通过整合公开数据集与医药平台的疾病知识，构建了一个包含34 167个实体和297 463条关系的医疗知识图谱，涵盖疾病、药品、食物等多个类别。提出BERT-MaskAttention-BiLSTM-CRF混合动态掩码模型来精确识别输入的医疗实体信息，更有效地关注重要内容，去除冗余信息干扰。采用实体对齐策略将医疗实体进行统一和标准化，通过意图识别策略深入理解用户的查询意图，结合大型语言模型对知识图谱的输出进行润色，保证回答内容更加容易理解。实验结果表明，在实体识别对比实验中模型的宏观平均F1值达到0.960 2，在问答测试实验中，平均准确率达到0.965 6，且生成的内容更加通俗易懂，可解释性强。