计算机科学与探索杂志

计算机科学与探索杂志2022年第4期

• 有监督实体关系联合抽取方法研究综述

  张少伟, 王鑫, 陈子睿, 王林, 徐大为, 贾勇哲

  实体关系联合抽取作为信息抽取领域的核心任务,能够从非结构化或半结构化的文本中自动识别实体、实体类型以及实体之间特定的关系类型,为知识图谱构建、智能问答和语义搜索等下游任务提供基础支持。传统的流水线方法将实体关系联合抽取分解成命名实体识别和关系抽取两个独立的子任务,由于两个子任务之间缺少交互,流水线方法存在误差传播等问题。近年来,实体关系联合抽取成为新的研究趋势,其可以建立统一的模型使得不同子任务彼此交互,进一步提升模型性能。对有监督实体关系联合抽取方法进行综述,根据抽取特征的不同方式,可将实体关系联合抽取分为基于特征工程的联合抽取和基于神经网络的联合抽取两种类型。首先,介绍基于特征工程的联合抽取,包括整数线性规划、卡片金字塔解析、概率图模型和结构化预测四种方法,这四种方法都需要采用相对复杂的特征工程方法。然后,介绍基于神经网络的联合抽取,这类方法可以自动抽取特征信息,已逐渐成为联合抽取的主流方法,其主要包括共享参数和联合解码两种类型。接着,介绍有监督实体关系联合抽取常用的七个数据集以及评价指标,并对不同的实体关系联合抽取方法进行了实验对比分析。最后,展望实体关系联合抽取的未来研究方向。

• 题目难度评估方法研究综述

  许嘉, 韦婷婷, 于戈, 黄欣悦, 吕品

  题目难度是保证试卷合理性及考试公平性的关键信息,也是智能教学系统（ITS）中的关键参数,有效支撑着包括智能组卷、题目自动生成和个性化习题推荐在内的多项智能教学功能。因此,题目难度评估已成为教育数据挖掘领域的一个重要研究方向,拥有大量研究工作。全面回顾了近十年题目难度评估研究领域的研究进展,将题目难度分为题目绝对难度和题目相对难度两类,并对现有的题目难度评估方法进行了整理和分类,其中重点分析了基于深度学习的题目绝对难度预测方法和基于深度学习的题目相对难度预测方法,并对后者包含的重要方法进行了实验分析。同时,对题目难度预测的相关数据集和模型评价指标等进行了总结。最后,对题目难度评估的未来研究方向进行了展望。

• 脑电信号情绪识别研究综述

  王忠民, 赵玉鹏, 郑镕林, 贺炎, 张嘉雯, 刘洋

  情绪识别是指通过人的面部表情、行为动作或者生理信号等信息识别人的情绪状态,其成果在医疗辅助、教育、交通安全等方面有很大的应用价值。由于脑电信号的客观真实性等特点,使用脑电信号进行情绪识别研究受到国内外学者们的广泛关注。查阅了大量脑电情绪识别相关文献并进行归纳、分析和总结。首先,对情绪以及情绪识别的定义、情绪的分类模型、脑电信号的采集和预处理等理论知识进行了详细的解释和分析,给出了脑电情绪识别的一般框架。其次,从时域特征、频域特征、时频特征和非线性特征四方面综述了用于情绪识别的各类脑电特征的提取方法,介绍了脑功能网络的构建以及脑网络属性的提取方法,分析了每类特征和方法的优缺点。然后,对脑电情绪识别中常用的分类算法的特点、优缺点以及适用场景进行了分析。最后,对该领域目前的难点和未来的发展方向进行了总结和展望。可以帮助研究人员系统地了解基于脑电信号的情绪识别研究现状,为后续开展相关研究提供思路。

• 群体行为识别深度学习方法研究综述

  裴利沈, 赵雪专

  群体行为识别是计算机视觉领域应用广泛且亟待解决的重要研究问题。伴随着深度神经网络的发展,群体行为识别与理解的宽度与深度也在不断扩展。通过调研近十年来群体行为识别的研究文献,确定了目前群体行为识别研究的问题定义;指出了群体行为识别研究现存的问题与挑战;在深度学习网络架构下,描述了从早期仅仅对群体行为进行分类识别,到如今更加侧重于对行为群体中活动细节理解的群体行为识别算法的发展历程;重点介绍了以卷积神经网络CNN/3DCNN、双流网络Two-Stream Network、循环神经网络RNN/LSTM和Transformer等网络架构为基础的,主流群体行为识别算法的核心网络架构和主要研究思路,对各算法在常用公共数据集上的识别效果进行了对比;对标注了群体行为类型和个体行为类别等多级标签的常用的群体行为数据集进行了梳理和对比。期望通过客观的对各种算法优缺点的讨论分析,引发读者提出群体行为识别研究的新思路或新问题。最后,对群体行为分析的未来发展进行了展望,期待能够启发新的研究方向。

• 锚点机制在目标检测领域的发展综述

  伏轩仪, 张銮景, 梁文科, 毕方明, 房卫东

  目标检测是计算机视觉领域的基本任务。近年来,基于深度学习的目标检测研究发展十分迅速,锚点（anchor）机制广泛应用于主流目标检测器中。多尺度的锚点是检测器解决尺度问题的有效方法,但锚点策略也存在尺寸固定、模型鲁棒性差等问题。根据优化锚点设置和无锚点（anchor-free）两种不同思路在目标检测中的发展,进一步分类总结检测模型的优缺点。首先回顾anchor策略提出的背景及原理,介绍基于优化anchor设置的目标检测模型,总结anchor机制存在的问题,引出无锚点（anchor-free）系列模型。在基于关键点的anchor-free模型中,按照检测思路分为基于特定位置关键点的检测器和结合中心关键点回归预测的检测器,分类总结算法的优缺点和使用范围,结合COCO数据集上的检测指标进一步对比。最后在总结融合anchor-based和anchor-free的模型基础上探讨两类算法的本质区别,指出未来的研究方向。

• 基于图数据库的空间频繁并置模式挖掘

  胡自松, 王丽珍, Vanha Tran, 周丽华

  空间频繁并置模式（SPCP）是一组空间特征的子集,它们的实例在地理空间中频繁地出现在一起。基于内存物化实例邻近关系并搜索模式实例效率较高,但实例信息会被重复存储。图数据库技术能高效地对具有复杂关联关系的数据建模,但基于实例邻近关系图移植已有的挖掘方法不能发挥图遍历的优势。针对上述问题,探索了基于图数据库的空间频繁并置模式挖掘方法。首先,利用图数据库对空间实例及其邻近关系建模,即将实例和关系存储在图数据库中。然后,基于图数据库设计了一个称为子图（团）搜索的基本算法,采用团查找的方式生成模式的表实例从而获得参与实例,避免了传统方法中效率较低的组合或连接操作。考虑到通过生成表实例收集参与实例的效率较低,设计了参与实例验证算法,包括过滤阶段和验证阶段。过滤阶段判断一个中心实例的邻居集中所涉及的特征是否完全包含了待计算模式中的特征,验证阶段则是判断是否存在一个模式实例包含该中心实例。参与实例验证算法每次验证一个中心实例都尽可能多地去确定参与对象,从而有效地减小了搜索空间和减少了团的搜索次数。此外,对提出算法的正确性和完备性进行了证明。最后,在真实和合成数据集上做了大量的实验,验证了所提算法的效率和有效性。

• 混部数据中心在线离线服务特征分析

  陈圣蕾, 裘翼滔, 蒋从锋, 张纪林, 俞俊, 林江彬, 闫龙川, 任祖杰, 万健

  为了在降低成本和减少能耗的同时提高云数据中心的资源利用率,目前许多云数据中心都采用了在线服务和离线任务混合部署的方式。虽然混合部署的方式能为数据中心带来许多益处,但它增加了任务调度的复杂性,同时对保障服务的高可靠、低延迟带来了一系列的挑战。深入分析了阿里巴巴数据中心中某一个含有4 034台服务器的集群在8天时间内所有在线服务和离线任务的运行状况。从数据分析结果中得出以下结论：首先,从在线服务的运行情况来看,所有容器的平均CPU利用率存在周期性变化,在每天的早8点到晚9点维持在一个较高水平,并且在每天凌晨4点回落到最低点。其次,对离线任务来说,除去第一天和第八天,剩下6天中任务提交峰值都集中在每天的同一时刻。95%实例的运行时间都在199 s以内,但是有0.052%的实例运行时间在1 h以上甚至会持续几天。然后,对于应用程序的相关情况,不同应用部署的容器数量存在较大差异,一个应用最多使用629个容器,最少使用1个容器。最后,对服务器、在线任务以及批处理实例进行了聚类分析,相对高资源利用率的容器占了所有容器的绝大部分,低资源利用率、短执行时间的实例则占了总实例的绝大部分。提出的发现和建议有助于数据中心管理者更详细地了解工作负载的特性,从而提高数据中心的资源利用率和各任务的容错性。

• UCTB：时空人群流动预测工具箱

  陈李越, 柴迪, 王乐业

  时空人群流动预测是智慧城市中的关键技术之一。目前主要有两大痛点困扰着相关研究、从业人员：第一,人群流动与多种因素相关,先前的研究总结出了多种时空先验知识,但由于人群流动预测应用场景的多样性,后续工作很难合理而全面地利用这些先验知识;第二,随着深度学习技术的发展,相关技术的实现越来越复杂,复现先进的模型是一件费时且愈发繁琐的事情。针对上述痛点,设计了时间序列采样接口和图构建接口,时间序列采样接口能够基于不同的先验知识产生不同类型的时间序列,图构建接口能够产生不同类型的空间图,上述两个接口还可通过继承接口实现自定义,以利用新的时空先验知识;基于TensorFlow框架实现了多种先进的时空图模型并封装了其中常用的时空建模单元,使用者不仅能够直接使用先进的时空模型,还能够基于这些高级模型层进行二次开发。综上,时空人群流动预测工具箱UCTB内同时集成了多种时空先验知识和多种先进的模型,对开发时空人群流动预测相关应用有着促进作用。相关的代码和配套文档均已开源,工具箱的网址是https://github.com/uctb/UCTB。

• 融合图嵌入和注意力机制的代码搜索

  黄思远, 赵宇海, 梁燚铭

  源代码检索任务是指将自然语言作为查询语句,从代码库中搜索相关代码片段。在代码检索任务中,大多数代码检索算法只考虑代码片段的文本序列信息而未考虑代码的结构信息,导致不能充分捕获代码片段包含的语义和语法信息。为了提高对程序语言的理解,提出了注意力机制和图嵌入相结合的代码检索算法（GraphCS）。在特征提取部分,以LSTM提取文本特征向量表示,以Graph2Vec提取图的向量特征表示。在特征融合部分中引入注意力机制,更好地为每一个特征分配相应的权重,从而提升程序的理解。考虑源代码和自然语言为异构数据,将代码片段特征和自然语言特征映射到同一个向量空间,以排名损失来保证语义相似的点在特征空间拥有较近的距离。为了验证算法的高效性,与目前最好的算法CODEnn进行对比。实验结果表明,在Precision@1/5/10、SuccessRate@1/5/10以及MRR上均有一定的提升。

• FSDC：灵活的高可扩展数据中心网络结构

  余达明, 张震

  随着互联网络数据量的急速增长和在线服务的不断增加,数据中心的网络规模不断扩大。如何构建一个能灵活扩展,具有成本效益,同时在网络进行扩展时能保持其拓扑性质不变的数据中心网络结构,已成为一个颇具挑战性的问题。笛卡尔乘积图是一种具有高可扩展性的复合图,它由基础图构造而来,通过使用笛卡尔乘积图能更灵活地构建任何规模的网络结构。基于笛卡尔乘积图,提出一种新型的数据中心网络结构,称为FSDC。FSDC使用商用 m端口交换机和 2端口服务器构建而成。与其他的数据中心网络结构相比,FSDC具有更好的灵活性和可扩展性。FSDC可以使用不同的基础图构建相同度的笛卡尔乘积图,因此可以构造不同的FSDC结构,并可以通过使用相同类型的 m端口商品交换机来按不同的比例扩展。对FSDC的直径、对分带宽等拓扑性质进行了分析;基于节点间存在多条路径的性质,设计了一种容错路由算法。通过与其他数据中心网络结构进行对比分析和模拟实验,结果表明,FSDC具有良好的灵活性、可扩展性以及较好的成本能耗优势。

• 轻量级的无线传感器网络选择性转发攻击检测

  陈雪雁, 章志明, 杨伟, 李萍, 熊小勇

  为了抵抗无线传感器网络（WSNs）选择性转发攻击,提出一种轻量级的无线传感器网络选择性转发攻击检测方案（LSFAD）。LSFAD方案通过计算并比较路径的平均丢包率和路径的正常丢包率检测选择性转发攻击路径,通过计算每个节点的平均丢包率和正常丢包率检测定位恶意链路。LSFAD方案设计简单,不需要任何监听节点,不需要任何复杂的评估模型,且在正常的数据包收发过程中进行恶意路径的检测,不会影响整个网络的正常工作。安全和性能分析表明,LSFAD方案能抵抗恶意节点发起的被动选择性转发攻击和主动选择性转发攻击,LSFAD方案的通信开销要远远小于其他方案。实验仿真结果表明,LSFAD方案即使当链路的正常丢包率为0.125选择性转发攻击路径都能被检测到,当链路正常丢包率大于0.025,发起选择性转发攻击的恶意节点都能被成功检测定位到,并且网络在检测定位恶意节点的状态下消耗的能量与正常情况下消耗的能量相差不大。

• 结合层级注意力的抽取式新闻文本自动摘要

  王红斌, 金子铃, 毛存礼

  由于抽取式摘要抽取句子有较强的人为判断主观性,不能准确客观评测出文章中实际每个句子对摘要的重要程度,以及每句话中每个词对句子重要程度的影响,从而影响了摘要的抽取质量。针对该问题,提出了一种结合层级注意力的抽取式新闻文本自动摘要方法。首先,该方法通过对英文新闻文本进行层级编码并依次加入词级注意力、句级注意力,得到结合层级注意力的文本表示。其次,通过神经网络构建动态打分函数并依次选择出打分函数中分值最高的候选句子作为摘要句。最后,抽取出英文新闻文本所对应的摘要。所提方法在CNN/Daily Mail、New York Times与Multi-News公共数据集上均进行了实验验证,实验结果表明所提方法的ROUGE评测值与目前最好的模型相比表现相当,ROUGE F1值较baseline分别提高了1.78、0.70与1.44个百分点。由此表明该方法在英文新闻文本抽取式摘要任务上具有泛化性与有效性,并且与现有方法相比具有一定的优越性。

• 注意力机制与复合卷积在手写识别中的应用

  卓天天, 桑庆兵

  将图片切分成单“字”识别再连接成“串”是脱机手写图像识别的一种方法,但由于手写字符间易存在粘连,切分方法不易实现。卷积循环神经网络（CRNN）虽解决了整张文本图片输入,标签却不易对齐的问题,但由于不同人脱机手写风格的严重差异,网络提取出的特征表示力不够。对此提出了加强型卷积块注意力模块和复合卷积,并将其加入处理脱机文本识别的CRNN+CTC主流框架中。加强型卷积块注意力模块增大输入特征图的贡献权重且并联地使用通道注意力、空间注意力,丰富了细化特征图语义信息的同时避免了通道注意力模块对空间注意力模块的权重干扰,使得网络更聚焦图片中的有用特征而非无用的拖拽字迹特征。而嵌入在网络深层的复合卷积采用的多卷积核卷积意味着不同尺度的特征融合,增强了网络的泛化性。基于加强型卷积块注意力模块和复合卷积的CRNN+CTC框架在具有语义信息的IAM数据集上准确率达到85.774 8%,字符错误率为8.6%;在RIMES数据集上准确率达到92.872 8%,字符错误率为3.9%,比起当前主流的脱机文本识别算法,性能进一步提升。

• 应用区域关联自适应图卷积的动作识别方法

  马利, 郑诗雨, 牛斌

  基于骨架数据的动作识别方法由于其对动态环境和复杂背景的强适应性而受到广泛的关注和研究,应用图卷积网络描述人体骨架实现人体动作识别可以取得很好的识别效果,但实现过程中图的拓扑结构通常是手动设置的,且在所有层和输入样本上的结构固定,只能捕获关节之间的局部物理关系,会遗漏非物理连接的关节相关性。提出了一种新的基于区域关联自适应图卷积网络的骨架动作识别,通过自适应图卷积使参数化的全局图和单个数据图的结构与模型卷积参数在不同的层中分别进行训练和更新,增加了模型中图形构造的灵活性与模型对于各种数据样本的通用性。同时引入区域关联图卷积,通过在关节特征与连接特征之间交替信息传递来捕获数据帧间各关节的非物理连接相关性。并加入骨骼的二阶数据对原有关节数据进行信息补充,融合两者构成双流网络提升识别网络的性能。在NTU-RGBD大规模数据集上的实验表明,该模型在动作识别的准确率上有了一定的提升。

• 面向多模态情感分析的双模态交互注意力

  包广斌, 李港乐, 王国雄

  针对现有多模态情感分析方法中存在情感分类准确率不高,难以有效融合多模态特征等问题,通过研究分析相邻话语之间的依赖关系和文本、语音和视频模态之间的交互作用,建立一种融合上下文和双模态交互注意力的多模态情感分析模型。该模型首先采用双向门控循环单元（BiGRU）捕获各模态中话语之间的相互依赖关系,得到各模态的上下文信息。为了学习不同模态之间的交互信息,提出了一种双模态交互注意力机制来融合两种模态的信息,并将其作为条件向量来区分各模态信息对于情感分类的重要程度;然后结合自注意力、全连接层组成多模态特征融合模块,挖掘模态内部和模态之间的关联性,获得跨模态联合特征。最后,将得到的上下文特征和跨模态联合特征进行拼接,经过一层全连接层后馈送至Softmax进行最终的情感分类。在公开的多模态情感分析数据集CMU-MOSI上对所提出的模型进行评估,实验结果表明,相比现有模型,该模型在多模态情感分类任务上的表现是有效的和先进的。

• 双分支网络的苹果叶部病害识别

  陆仲达, 张春达, 张佳奇, 王子菲, 许军华

  由于复杂背景环境和病斑相似性的影响,苹果叶部病害特征间存在细微的类间差异以及较大的类内差距,给苹果叶部病害识别造成极大困难。针对以上问题,提出了一种新型双分支网络的苹果叶部病害识别方法（DBNet）。DBNet的双分支网络结构由多尺度联合分支（MS）以及多维度注意力分支（DA）构成。首先多尺度联合分支通过不同类型卷积核和跨层连接融合不同尺度层级间的病害特征,用于缓解复杂背景环境带来的不利影响。同时多维度注意力分支通过融合宽、高、通道三个不同维度的注意力,使网络关注病斑间的微小差异,并随着网络层数的加深自动改变三个维度注意力所占比重,该分支用于缓解部分病斑相似性带来的不利影响。最终DBNet将双分支网络提取到的多尺度特征和多维度特征进行融合。并在苹果叶部病害数据集上,与AlexNet、VGG-16、ResNet-50、B-CNN等模型进行实验对比,结果显示所提方法能够有效地提升识别精度。

• 融合注意力机制的深层次小目标检测算法

  赵鹏飞, 谢林柏, 彭力

  骨干网络特征提取不充分以及浅层卷积层缺乏语义信息等往往导致了对于小目标检测的效果不佳,为提高小目标检测的精确性与鲁棒性,提出一种融合注意力机制的深层次小目标检测算法。首先,针对骨干网络特征提取能力不足的问题,选用Darknet-53作为特征提取网络,通过构建新的分组残差连接来替换原Darknet-53中的残差连接结构,形成新的I-Darknet53骨干增强网络,该分组残差结构可通过交织不同通道的特征信息有效提高输出的感受野大小。其次,在多尺度检测阶段,提出浅层特征增强网络,采用特征增强模块与通道注意力机制引导下的高效特征融合策略对浅层与深层进行特征融合获得浅层增强特征,从而改善浅层语义特征信息不足的问题。实验结果表明,相较于SSD算法,所提算法在PASCAL VOC数据集上检测效果更加突出。当输入图像尺寸为300 ×300时,模型平均精度均值为80.2%;当输入图像尺寸为500 ×500时,模型平均精度均值为82.3%。并且在保证检测速度的前提下,增强了模型对小目标的检测效果。

• 双线性聚合残差注意力的细粒度图像分类模型

  李宽宽, 刘立波

  针对细粒度图像分类任务中种类间局部信息差异性较小,通常会导致模型表征能力不足,特征通道之间的相互依赖关系较差以及无法有效捕捉到显著且多样化的特征信息等问题,提出了一种双线性聚合残差注意力网络（BARAN）。首先在原双线性卷积网络模型（B-CNN）基础上,把原有特征提取子网络转变为更具学习能力的聚合残差网络,来提升网络的特征捕获能力;然后在每一聚合残差块内嵌入分散注意力模块,使得网络专注于整合跨维度特征,强化特征获取过程中通道之间的紧密关联程度;最终将融合的双线性特征图输入到互通道注意力模块中,利用互通道注意力模块包含的判别性与区分性两个子组件进一步学习到更加细微、多样化且互斥的局部类间易混淆信息。实验结果表明,该方法在CUB-200-2011、FGVC-Aircraft和Stanford Cars三个细粒度图像数据集上分类精度分别达到87.9%、92.9%、94.7%,性能优于大多数主流模型方法,并且相比原B-CNN模型提升幅度分别达到了0.038、0.088、0.034。

• 双流时间域信息交互的微表情识别卷积网络

  朱伟杰, 陈莹

  目前主流的深度学习方法用于微表情识别存在实验数据非常稀缺的问题,导致神经网络在学习的过程中知识获取有限进而难以提升精度。针对目前存在的问题,提出双流网络时间域信息交互的微表情识别方法,构建了双流时间域信息交互卷积神经网络（DSTICNN）,网络对微表情序列进行处理,进而实现微表情自动识别。该算法通过改进深度互学习策略引导网络学习同一图像序列的不同时间域信息,来提高最终的识别率。算法基于不同时间尺度构建DSTICNN32和DSTICNN64,在训练阶段改良了深度互学习的损失函数。同时,在两流网络接近决策层的特征图加上了均方差损失,最终由交叉熵损失、JS散度损失和均方差损失来共同监督训练,使得两流网络互相学习加强,提高各自预测样本的能力。算法在CASME Ⅱ、SMIC数据库上进行了实验,结果表明该算法能有效提高微表情识别率,CASME Ⅱ数据库上提高6.83个百分点,SMIC数据库上提高1.65个百分点,整体算法优于现有算法。