计算机科学与探索杂志2024年第8期
-
- 图神经网络对抗攻击与鲁棒性评测前沿进展
- 吴涛, 曹新汶, 先兴平, 袁霖, 张殊, 崔灿一星, 田侃
- 近年来,图神经网络(GNNs)逐渐成为人工智能的重要研究方向。然而,GNNs的对抗脆弱性使其实际应用面临严峻挑战。为了全面认识GNNs对抗攻击与鲁棒性评测的研究工作,对相关前沿进展进行梳理和分析讨论。介绍GNNs对抗攻击的研究背景,给出GNNs对抗攻击的形式化定义,阐述GNNs对抗攻击及鲁棒性评测的研究框架和基本概念。对GNNs对抗攻击领域所提具体方法进行了总结和梳理,并对其中的前沿方法从对抗攻击类型和攻击目标范围的角度进行详细分类阐述,分析了它们的工作机制、原理和优缺点。考虑到基于对抗攻击的模型鲁棒性评测依赖于对抗攻击方法的选择和对抗扰动程度,只能实现间接、局部的评价,难以全面反映模型鲁棒性的本质特征,从而着重对模型鲁棒性的直接评测指标进行了梳理和分析。在此基础上,为了支撑GNNs对抗攻击方法和鲁棒性模型的设计与评价,通过实验从易实现程度、准确性、执行时间等方面对代表性的GNNs对抗攻击方法进行了对比分析。对存在的挑战和未来研究方向进行展望。总体而言,目前GNNs对抗鲁棒性研究以反复实验为主,缺乏具有指导性的理论框架。如何保障基于GNNs的深度智能系统的可信性,仍需进一步系统性的基础理论研究。
-
- 深度学习的视网膜血管分割研究综述
- 汪有崧, 裴峻鹏, 李增辉, 王伟
- 视网膜眼底图像的分割结果可为糖尿病视网膜病变、青光眼和年龄相关性黄斑病等眼科疾病的诊断提供辅助。通过准确分割视网膜血管,医生能够更好地了解患者眼部状况,为诊断、治疗和评估提供有力支持。对近年来的基于深度学习的眼底血管分割论文进行回顾整理,介绍了最常用于眼底血管分割的数据集,以及预处理方式,并将近期的模型算法分为单网络模型、多网络模型以及Transformer模型几个大类。对每一类网络中所存在的各个模块文章进行了介绍分析,探讨了它们的优势以及在处理眼底血管分割任务时的局限性。这些分析有助于理解不同模块的特点和适用场景。将所检索的模型数据进行总结,通过比较不同算法模型在同一数据集上的表现,以及根据相同的评价指标获得的分数,比较各算法模型的优劣,分析分数较好算法存在优势的原因,并指出了现如今的算法所存在的缺陷,总结深度学习的方法在视网膜血管分割中面临的诸多挑战,指出了未来深度学习在眼底血管分割方面可侧重的发展方向。
-
- 多智能体强化学习算法研究综述
- 李明阳, 许可儿, 宋志强, 夏庆锋, 周鹏
- 近年来,多智能体强化学习算法技术已广泛应用于人工智能领域。系统性地分析了多智能体强化学习算法,审视了其在多智能体系统中的应用与进展,并深入调研了相关研究成果。介绍了多智能体强化学习的研究背景和发展历程,并总结了已有的相关研究成果;简要回顾了传统强化学习算法在不同任务下的应用情况;重点强调多智能体强化学习算法分类,并根据三种主要的任务类型(路径规划、追逃博弈、任务分配)对其在多智能体系统中的应用、挑战以及解决方案进行了细致的梳理与分析;调研了多智能体领域中现有的算法训练环境,总结了深度学习对多智能体强化学习算法的改进作用,提出该领域所面临的挑战并展望了未来的研究方向。
-
- 基于逻辑推理的机器阅读理解综述
- 李晴, 李艳玲, 董杰, 葛凤培, 林民
- 机器阅读理解是自然语言处理领域中的核心任务之一,该任务目标是使机器能够理解自然语言文本,并正确回答关于文本内容的问题。随着自然语言处理相关方法和模型的发展,研究者们开始关注机器阅读理解中更具挑战性的推理型问题,这些问题通常要求模型不仅理解文本中的浅层信息,还要能够在逻辑上进行思考和推理,以回答更加复杂的问题。对基于逻辑推理的机器阅读理解相关的最新成果进行全面的归纳。介绍基于逻辑推理的机器阅读理解任务。介绍该任务的相关方法,并根据侧重点的不同将这些方法分成四类:基于符号神经网络的方法、基于图神经网络的方法、基于预训练的方法和基于大模型的微调策略。重点描述四类方法的代表性工作。在LogiQA和ReClor两个逻辑推理主流数据集上探讨方法的优缺点,并总结基于逻辑推理的机器阅读理解任务的未来研究方向。
-
- 无监督学习步态识别综述
- 陈福仕, 沈尧, 周池春, 丁锰, 李居昊, 赵东越, 雷永升, 潘亦伦
- 在光学技术高速发展的现代,步态特征因非接触、非侵入、难伪造、远距离采集等优势受到了学界的广泛关注。目前步态识别算法主要为依赖标签数据的有监督学习方法,庞大的标签标注量在实际应用中面临多重挑战。无监督学习不需要标注就能完成对数据内在特征的自动分析,更贴合实际应用的需求。为了全面认识无监督学习步态识别发展现状及趋势,对领域相关工作进行了梳理。介绍了步态识别常用数据集、通用制作方式以及主流评价指标。从基于GAN的步态识别方法、基于聚类的步态识别方法、基于无监督域适应的步态识别方法和其他方法四个方向详细介绍了目前基于无监督学习的步态识别相关研究思路;选取了CASIA-B、OU-MVLP和OU-ISIR LP三个典型数据集,对主要无监督算法性能进行综合对比;对各方向研究侧重点进行总结讨论,针对存在的交叉研究情况进行评论综述,为未来研究提供借鉴思路。研究分析了无监督步态识别算法目前面临的挑战,并以此展望步态领域未来的发展方向。
-
- 自适应变换结合非凸松弛的张量补全
- 刘佳慧, 朱玉莲
- 许多张量补全方法的共同点是首先通过预定义的变换将张量投影至变换域中,然后刻画变换域中张量(简记为变换张量)的低秩性或稀疏性,但是预定义的变换并不具备一般性。针对这一问题,提出了一个基于自适应变换的张量均秩,该秩的定义是基于可逆线性变换的张量均秩的一个扩展;提出了一种自适应变换结合非凸松弛的张量补全模型。自适应体现在变换张量是未知的待求解张量,它可以基于观测张量在最小化目标函数的过程中不断进行自身的调整,直至成为目标函数的最优解。该模型使用非凸替代近似估计基于自适应变换的张量均秩,并采用[l1]范数衡量变换张量的稀疏性。在通过近端交替最小化的框架求解最优解的过程中,该模型根据观测的张量自适应地学习变换低秩张量和变换稀疏张量,再通过学习到的变换矩阵分别将变换低秩张量和变换稀疏张量转化到原始空间,最终得到补全后的张量。在灰度视频、多光谱图像和高光谱图像上进行了实验,将该方法与其他代表性的张量补全方法相比较,实验结果表明该方法进一步提升了补全的性能。
-
- 基于PathSim的MOOCs知识概念推荐模型
- 祝义, 居程程, 郝国生
- 大规模开放在线课程提供大规模开放式在线学习平台,为推进现代教育发挥关键作用。然而,减少用户学习盲区和改善用户体验方面的研究仍具有挑战性:交互数据稀疏;难以扩展到大型推荐任务上;用户需求不单由用户喜好决定,还受到不同教师、课程影响;以统一的方式对课程学习事件中不同类型实体及关系进行建模并不妥靠。基于此,引入相关性度量,依据全图结构信息计算各边权重,提出采用相关性度量算法PathSim进行邻域采样的知识概念推荐模型PathSimSage。各实体间相关性得分可在本地离线计算,将神经网络与传播过程分离,保证神经网络的堆叠层数和传播过程的独立性,大幅减少模型所需训练时间。在公开的MoocCube数据集上进行了综合实验,PathSimSage降低了不相关的信息甚至噪声的影响,解决随机游走采样所引发的高度节点偏差问题,并在一定程度上缓解了过平滑效应。
-
- 动态拓扑结构混合粒子群算法及其应用
- 王浩丞, 李凌
- 针对传统粒子群算法面对较高维度参数整定问题时所表现出的寻优速度慢、易陷入局部最优解的问题,提出一种动态环形拓扑结构混合粒子群算法(DynRing-hfpso)。该算法以粒子群算法为基底,融合萤火虫算法的优点,通过定义选择逻辑使粒子在迭代过程中各自独立地交替进行全局搜索与局部探索,并以自适应的粒子速度与位置约束方法提高算法在迭代过程中信息的利用率。对粒子群拓扑结构进行改进,以动态多邻域环形拓扑结构提高搜索空间覆盖能力,均衡收敛速度。设置动态性能分析以及消融实验,验证算法中粒子分布质量与改进措施的有效性。采用分数阶比例-积分-微分([FOPIλDμ])控制下的速度伺服系统作为应用场景,将该算法与其他四种算法进行对比。结果表明,DynRing-hfpso算法较已有的元启发式优化算法有更快的收敛速度与更优的收敛精度,且在多次实验中展现出更强的鲁棒性。
-
- 改进MADDPG算法的非凸环境下多智能体自组织协同围捕
- 张红强, 石佳航, 吴亮红, 王汐, 左词立, 陈祖国, 刘朝华, 陈磊
- 针对多智能体在非凸环境下的围捕效率问题,提出基于改进经验回放的多智能体强化学习算法。利用残差网络(ResNet)来改善网络退化问题,并与多智能体深度确定性策略梯度算法(MADDPG)相结合,提出了RW-MADDPG算法。为解决多智能体在训练过程中,经验池数据利用率低的问题,提出两种改善经验池数据利用率的方法;为解决多智能体在非凸障碍环境下陷入障碍物内部的情况(如陷入目标不可达等),通过设计合理的围捕奖励函数使得智能体在非凸障碍物环境下完成围捕任务。基于此算法设计仿真实验,实验结果表明,该算法在训练阶段奖励增加得更快,能更快地完成围捕任务,相比MADDPG算法静态围捕环境下训练时间缩短18.5%,动态环境下训练时间缩短49.5%,而且在非凸障碍环境下该算法训练的围捕智能体的全局平均奖励更高。
-
- 结合原型的两阶段遥感图像无监督域适应分割模型
- 李政威, 汪西莉, 艾美
- 遥感图像数据量较大,地物类别较多,局部特征与全局特征差距较大,域内特征差异较明显,导致传统的迁移学习难以有效提升模型的推广性能。为此,在传统基于对抗对齐域间特征的无监督域适应模型基础上,提出一种结合原型的两阶段遥感图像无监督域适应分割模型。引入原型表达类别特征,通过原型获取模块获取和更新原型,利用原型施加模块并结合自注意力,将类别全局特征施加到裁剪得到的局部图像特征中,使分割网络兼顾局部和全局类别信息,更好地提取两个域的不变特征。利用目标域图像的伪标签将目标域图像分为易分割和难分割图像,通过对抗和自训练的方式减少目标域的域内特征差异,以便更好地提取目标域难易图像的域内不变特征。利用已知像素类别的分割预测图计算每个像素和相邻像素的上下文关系,生成像素上下文关系图,通过使输出级判别网络判别输入的两个域分割结果的像素上下文关系图来自于哪个域,迫使分割网络更好地提取域不变上下文关系,缓解同谱异物现象。在两个数据集上的实验结果表明,所提模型可以有效缓解局部特征与全局特征差距较大、域内特征差异明显以及同谱异物现象带来的模型迁移性能下降问题,相较于先进的域适应分割方法更具有优势。
-
- 采用通道像素注意力的多标签图像识别
- 叶庆文, 张秋菊
- 多标签图像识别是对包含多个对象类别标签的图像进行预测分类。为了解决多标签图像识别中存在的小对象识别困难和样本数据不平衡问题,分别提出了简单高效的通道像素注意力(CPA)和类权重交叉熵损失。CPA通过计算通道注意力和像素注意力得分来为每个通道生成对应的像素特征,以提升网络对小对象的注意力,将进行池化和增益后的像素特征输入到多层感知机中用于最终的分类预测;引入数据集中的正样本数量分布作为经典的交叉熵(CE)损失函数的权重,以提升模型对样本数量少的对象特征的关注。在公开多标签图像数据集VOC 2007、MS-COCO 2014和VAW上进行对比实验,所提出的方法相较于其他现有的先进方法在平均精度均值(mAP)上分别提高了0.2个百分点、0.7个百分点和0.9个百分点。针对MS-COCO 2014和VAW数据集,类权重交叉熵损失在不增加任何计算成本的情况下,相较于常用的交叉熵损失在mAP上分别提高了0.6个百分点和1.6个百分点,验证了所提方法的先进性和有效性。
-
- Dynamic-YOLOX:复杂背景下的苹果叶片病害检测模型
- 盛帅, 段先华, 胡维康, 曹伟杰
- 针对目前苹果叶片数据集的叶片病害种类不全以及图片背景单一等问题,构建了复杂背景下包括苹果叶部六种常见病害的苹果叶片病害数据集。针对目前主流苹果叶片病害检测模型检测精度不高、模型复杂和不满足实时监测等问题,提出了一种基于YOLOX-S(you only look once X-S)改进得到的复杂背景下的苹果叶片病害自适应检测模型Dynamic-YOLOX。设计并使用ECA-SPPFCSPC模块(efficient channel attention cross-stage partial fast spatial pyramid pooling module)更换YOLOX-S模型主干网络尾部Dark5中的空间金字塔池化(SPP)以及跨阶段局部网络(CSPNet)模块来增强模型关注深层语义特征、抑制无用信息的能力,并减少硬件内存开销。设计了动态跨阶段局部网络(ODCSP)模块,并用其更换YOLOX-S模型主干网络中Dark2、Dark3、Dark4部分以及颈部网络中所有的CSPNet模块,使得模型在面对不同输入特征时有更强的自适应性,在减少模型的参数量和计算量的同时提高了模型的平均检测精度。引入Varifocal Loss更换模型中分类置信度损失的BCEWithLogits Loss来提升模型对苹果叶片中密集小目标病害的检测精度。在自制数据集上Dynamic-YOLOX相对原始YOLOX-S模型的mAP提升了4.54个百分点,达到84.63%,同时模型的参数量和计算量分别下降了11.97%和13.45%,检测速度达到44.07 FPS。对比主流苹果叶片病害检测模型,Dynamic-YOLOX具有一定优越性。
-
- 基于对话结构与图注意力网络的药物推荐算法
- 陈江美, 张文德, 谭睿璞
- 现有的药物推荐算法大多基于历史电子健康记录,但该数据难以反映患者的当前健康状况,也无法捕捉患者实时性的健康需求,导致推荐效果不佳。为此,融合了在线对话和疾病信息,提出一种基于对话结构与图注意力网络的药物推荐算法。集成灰关联分析与图注意力网络,运用灰关联分析学习节点间的关联,提出了一种新的关联感知图结构,以弥补传统图网络难以捕捉节点关联的不足。构建了对话分层编码器,基于新的图注意力网络编码话语与对话表示,并设计两种关联图结构学习节点的邻接关系,以生成蕴含上下文语义的对话结构表示。基于知识图谱和新的图网络学习疾病表示,将其与对话表示融合,实现药物的预测与推荐。实验结果表明,提出的算法在各评估方法下均优于基线方法,与性能最好的基线DNN相比,提出算法的F1和Jaccard分别提高了1.8%和3.5%,表明了提出算法能有效提高推荐性能。
-
- 结合超图对比学习和关系聚类的知识感知推荐算法
- 王永贵, 陈书铭, 刘义海, 赖贞祥
- 结合知识图谱的推荐算法通过引入知识图谱,获得项目的辅助信息,从而实现更好的推荐效果。然而推荐的过程中存在知识图谱中关系长尾分布、用户项目交互数据稀疏和异构信息利用不平衡的问题。针对这些问题,提出了一种结合超图对比学习和关系聚类的知识感知推荐算法(HC-CRKG)。通过关系聚类的方式重构知识图谱,缓解了知识图谱中关系的长尾分布问题;构建用户-项目-实体异构图,利用一种结合注意力机制的图卷积网络学习用户、项目的异构图嵌入;同时使用一种参数化的超图卷积网络,学习用户、项目的超图嵌入;在异构图嵌入和超图嵌入之间进行对比学习,为模型引入自监督信号,缓解数据稀疏性问题;将异构图嵌入和超图嵌入相结合,用于后续的推荐预测,进一步缓解了异构信息利用不平衡问题。模型在MovieLens-1M、Book-Crossing和Last.FM三个公开数据集上与CKAN、KGIC、VRKG4Rec等基线模型进行对比实验,实验结果表明在AUC、F1和Recall@K指标上,模型均取得了不同程度的提升。
-
- 采用低秩编码优化大语言模型的高校基础知识问答研究
- 骆仕杰, 金日泽, 韩抒真
- 在高等教育领域,基础知识问答系统对学生学术成就提升及教育资源公平分配具有重要作用。近年来已有基于预训练语言模型上使用机器阅读理解和文本相似度匹配的问答技术,在处理复杂的自然语言问题时仍然面临因训练数据不足、模型泛化能力限制等瓶颈导致的回答质量和准确性不足的情况。本研究旨在解决如何在降低资源消耗的同时,提升基础知识问答系统在高校环境中的性能优势和准确率。为实现该目标,提出了一种高校基础知识领域的低秩编码大语言模型微调方法。该方法通过低秩编码的方法降低大语言模型的内存、显存在训练和预测的消耗量,并且运用大语言模型的生成式方法优化我校基础知识数据问答领域的研究与分析,从而提高日常基础知识问答的质量、准确性和响应速度。通过冻结大型预训练模型权重,将高校基础知识语言信息融入原Transformer架构的预训练层,并且加入了问答优化模块来规范生成式模型的准确性。此方法在显著减少下游任务可训练参数数量的同时,可以较好地保留原模型的生成式语言能力,并且针对高校基础知识领域展现出更优的性能优势和准确率。
-
- 基于潜在状态分布GPT的离线多智能体强化学习方法
- 盛蕾, 陈希亮, 赖俊
- 通过决策Transformer对基础模型进行离线预训练可以有效地解决在线多智能体强化学习采样效率低和可扩展性的问题,但这种生成预训练方法在个体奖励难以定义和数据集不能覆盖最优策略的多智能体任务中表现不佳。针对此问题,采用潜在状态分布改进决策Transformer,提出了一种融合离线预训练和在线微调的多智能体强化学习算法。该算法利用自编码器和独热编码方法生成离散的潜在状态表示,保留了原始状态空间中某些重要的信息;通过潜在的临时抽象改进生成式预训练的决策Transformer,类似于数据增益的技术,在一定程度上解决了未充分覆盖状态空间的离线数据集导致的外推误差问题;采用集中训练和分散执行的方式解决在线微调时智能体的信度分配问题;通过鼓励探索的多智能体策略梯度算法在下游任务中进一步探索协同策略。在星际争霸仿真平台上进行实验,与基线算法相比,在较少甚至没有离线轨迹数据的任务中得分更高,泛化能力更强。
-
- 前缀调优的少样本命名实体识别
- 吕海啸, 李益红, 周晓谊
- 少样本命名实体识别通常使用基于相似性的度量,为了能够充分利用模型参数中的知识转移,提出一种前缀调优的少样本命名实体识别方法(P-NER)。将输入文本的特征向量放入嵌入模块进行特征提取;把前缀提示的向量参数拼接到编码层模型的前端,并将编码层模型参数进行固定;对编码层得到的结果进行交叉熵模型的解码,并对每个训练样本采样两个子模型,通过最小化两个子模型之间相对熵的方式达到对模型预测进行正则化的目的;通过验证输出概率和真实标签概率来衡量模型对每个词的标签预测与实际标签的一致程度并输出分类结果。实验结果表明在CoNLL2003数据集上,该方法的域内少样本实体识别的平均F1得分为84.92%,在跨领域少样本实体识别的MIT Movie、MIT Restaurant和ATIS三个数据集中均领先其他基线方法的结果。因此,该方法可在只需要调节以往微调方法的2.9%参数的情况下,显著提高少样本命名实体识别的效果。
-
- 随机预言机模型下基于身份的格基可链接环签名
- 谢佳, 王露, 刘仕钊, 高军涛, 王保仓
- 作为一种简化的群签名,环签名没有管理员角色,不需要环成员之间合作;签名者仅需自己私钥和其他环成员公钥即可进行签名操作。因其天然的匿名性,环签名在匿名投票、电子货币和车联网等场景得到广泛应用。可链接环签名作为环签名概念的一种变体,在保持了匿名性的同时还可验证两个签名是否来自同一签名者,从而有效解决举报系统中的恶意举报及区块链系统中的双重花费等问题,进而丰富了环签名的应用场景。提出一种基于身份的格基可链接环签名方案,采用G-陷门生成技术生成系统密钥,使用其改进后的陷门委派技术和原像采样算法提取用户私钥,利用双峰高斯分布下的拒绝采样技术生成签名。经安全分析,所提方案在随机预言机模型下满足无条件匿名性、不可伪造性和可链接性,安全性可规约至格上的小整数解(SIS)问题,与现有的方案相比,签名生成时间开销和签名验证时间开销都减少约50%。最后将该方案和基于异或秘密共享算法结合,设计了电子投票协议,从而保证电子投票系统的隐私性和公正性。
-
- 拍卖机制驱动的数据激励共享方案
- 卢玉, 王静宇, 刘立新, 王浩南
- 云计算、大数据、物联网等技术的发展为数据共享奠定了基础,当前各国政府都在鼓励数据共享和交易,以促进数据之间的互联互通,刺激大数据经济的发展。由于数据本身含有许多隐私信息以及数据共享过程缺乏激励,大多数据拥有者不愿参与共享,基于此出现了将拍卖与隐私保护结合起来的数据共享方案。但在这些拍卖方法中,没有考虑到数据底价问题,并且忽略了数据请求者的相关利益。为此,基于拍卖机制设计了一种满足双方利益的数据激励共享方案。采用基于属性的访问控制技术防止未授权的请求者进入拍卖环节;结合现实场景中的拍卖使用信息熵为数据设置硬性底价,为了防止拍卖过程中请求者过度夸大拥有者的数据价值造成获胜者后悔的情况,设置软性底价作为拥有者理想的最高成交价;应用Pedersen承诺对请求者出价进行隐藏,并使用零知识范围证明对各请求者的出价信息进行验证,利用区块链实现数据交易结果的公开问责。实验分析表明,所设计的拍卖方案满足双方利益并且可以实现所有参与者的个体理性、弱预算平衡和激励相容等特性。
