计算机科学与探索杂志

计算机科学与探索杂志2020年第9期

• 深度神经网络模型压缩综述

  耿丽丽，牛保宁

  近年来，随着深度学习的飞速发展，深度神经网络受到了越来越多的关注，在许多应用领域取得了显著效果。通常，在较高的计算量下，深度神经网络的学习能力随着网络层深度的增加而不断提高，因此深度神经网络在大型数据集上的表现非常卓越。然而，由于其计算量大、存储成本高、模型复杂等特性，使得深度学习无法有效地应用于轻量级移动便携设备。因此，压缩、优化深度学习模型成为目前研究的热点。当前主要的模型压缩方法有模型裁剪、轻量级网络设计、知识蒸馏、量化、体系结构搜索等。对以上方法的性能、优缺点和最新研究成果进行了分析总结，并对未来研究方向进行了展望。

• 紧凑的神经网络模型设计研究综述

  郎磊，夏应清

  近年来卷积神经网络在广泛的应用中取得了优秀的表现，但巨大的资源消耗量使得其应用于移动端和嵌入式设备成为了挑战。为了解决此类问题，需要对网络模型在大小、速度和准确度方面做出平衡。首先，从模型是否预先训练角度，简要介绍了网络压缩与加速的两类方法——神经网络压缩和紧凑的神经网络。具体地，阐述了紧凑的神经网络设计方法，展示了其中不同运算方式，强调了这些运算的特点，并根据基础运算的不同，将其分为基于空间卷积的模型设计和基于移位卷积的模型设计两大类，然后每类分别选取三个网络模型从基础运算单元、核心构建块和整体网络结构进行论述。同时，分析了各网络以及常规网络在ImageNet数据集上的性能。最后，总结了现有的紧凑神经网络设计技巧，并展望了未来的发展方向。

• 融合自注意力机制的跨模态食谱检索方法

  林阳，初旭，王亚沙，毛维嘉，赵俊峰

  饮食记录是饮食管理的关键环节。为了简化记录过程，研究者提出了基于食物图片的食谱检索技术，通过拍摄的图片检索到对应食谱，并据此生成营养信息，从而提高了记录的便捷性。食谱检索是典型的跨模态检索问题，但与一般问题相比，其主要难点是食谱描述了从原材料到成品的一系列变化过程，而非直接可见的特征，因此模型需要深入理解原材料的处理过程。而当前食谱检索研究工作采用线性方式处理文本，导致其捕捉食谱处理过程中的远距离依赖现象的能力较差。针对这个问题，设计了一种基于自注意力机制的跨模态食谱检索模型。该模型借助Transformer模型中的自注意力机制，捕捉食谱中远距离的依赖关系，同时改进了传统方法中的注意力机制，可以更好地挖掘食谱中的语义。实验结果表明，该模型在食谱检索任务的召回率上比基线方法提高了22%。

• 面向时序图的K-truss社区搜索算法研究

  徐兰天，李荣华，王国仁，王彪

  在诸如通信网络、协作网络和社交网络的分析等应用中，边缘上通常包含时间戳。然而以前大多数的研究主要集中在识别没有时间信息的网络中的社区。大规模时序图数据管理与挖掘已经成为数据挖掘领域的一个热点问题，其应用领域十分广泛。团模型是图社区发现问题中的一个重要模型，K-truss结构是团模型的一种重要的松弛模型。对时序图中的社区挖掘问题进行研究，目标是搜索能持续存在的社区结构。由于K-团结构的搜索是一个NP难问题，采用经典的K-truss模型对社区进行建模，进而提出了一种新的适合于时序图数据的持续社区模型[(k,Δ,θ)-truss]。还提出了一种近似线性时间的时序图社区搜索算法，然后基于真实数据集分析算法的性能和社区挖掘的结果。实验结果表明，K-truss挖掘的效率和社区规模介于K-core与K-团之间，适合比较紧密的社区的搜索。

• 基于多目标分解策略的副本布局算法研究

  邵必林，贺金能，边根庆

  高效的副本布局是分布式存储系统可靠性的重要保障。数据副本既可以增加系统数据的可用性，又能够提高系统的负载均衡能力，但同时也会带来能量消耗问题。针对副本带来的效能提升和能耗之间的冲突，提出了一种基于多目标分解策略的副本布局算法（MDSRL）。将平均文件不可用性、负载均衡、能耗作为三个优化对象，并将多目标优化问题分解成多个标量子问题同时进行优化，每一个子问题的优化都借助相邻的若干个子问题的信息，经过多次迭代优化后，试图找出一组能够在这三个目标上都有良好表现的折衷解。实验表明MDSRL算法所求出的解在平均文件不可用性和能耗上比多目标进化算法（MOE）减少了3.11个百分点和2.3个百分点，在平均文件不可用性和负载变化上比多目标副本管理算法（MORM）减少了68.1个百分点和0.2个百分点，且解的分布性和收敛性更好。

• 面向申威众核处理器的LZMA并行算法设计与优化

  李秉政，黄高阳，许瑾晨

  随着高性能计算和科学计算应用的发展，高性能计算集群系统传输、存储和处理的数据规模呈现爆炸式增长。对大规模数据进行高效的压缩，减少数据存储所需空间和传输所需的通信带宽，是提升高性能计算集群系统性能的关键之一。无损压缩算法中，LZMA算法具有较高的压缩率，但串行版本的LZMA算法压缩速率很慢。采用多核架构的处理器对无损压缩算法进行并行化，是提升压缩速率的一个研究方向。设计并实现了面向申威26010异构众核处理器并行化LZMA算法。结合申威异构众核处理器的特点，对LZMA算法存储空间需求、访存特性、热点函数等进行分析，基于Athread接口实现LZMA算法从核多线程并行，并对LDM地址空间进行细粒度的布局与优化以获得更好的缓存性能，实现DMA双缓冲的循环滑动窗口算法。测试结果表明，相较主核串行版本算法，并行LZMA算法在Silesia语料库基准测试集和大规模数据集中分别获得了4.1倍和5.3倍的最大加速比，获得了较好的加速效果。

• 移动目标信号博弈的防御最优策略选取

  孙岩，姬伟峰，翁江

  从不对称的网络攻防实际情况出发，分析网络攻防对抗具有的动态性、不完全信息性和多阶段性的特点。以信号博弈为框架，采用防御者为信号发起者，利用诱导信号干扰攻击的防御行为模式构建移动目标信号博弈防御模型（MTSGDM）。考虑防御检测系统本身存在无法避免的错检缺陷下提出攻击策略与防御策略的收益量化方法，给出精炼贝叶斯均衡求解算法和先验信念修正算法。分别通过相对防御收益和精炼贝叶斯均衡结果选取最优防御策略及最优诱导信号策略，两种策略的组合能够最大化防御收益。最后通过实例说明并验证该模型和方法的可行性和有效性。在分析实验数据的基础上总结出一般性规律，对网络环境下防御者如何决策具有指导意义。

• 自主水下航行器辅助的水下地理机会路由协议

  丁钰莹，郝琨，李成

  针对水下传感器网络（UWSN）存在能耗高、传输率低和带宽窄等问题，提出自主水下航行器（AUV）辅助的水下地理机会路由协议（GOHRP）。初始阶段，GOHRP基于普通节点的深度设计间距不等的分层网络，并依据普通节点权重大小选择每层的代理节点；路由阶段，普通节点通过机会路由策略将采集到的数据和反映水下事件重要性与时效性的数据信息值（VOI）转发给代理节点，接着AUV采用动态路由策略优先访问发送VOI值最大的代理节点，并将代理节点上的数据传输到水面浮标。仿真结果表明，GOHRP在保证高效稳定的数据传输率的同时，降低了网络时延，提高了能量利用率。

• 基于多核学习的风格正则化最小二乘支持向量机

  沈浩，王士同

  当前的多核学习方法结合了不同核函数在对数据的物理特性表示上的能力，但在风格化数据集中不能充分利用样本中所隐含的风格信息。由此，提出应用于风格化数据的基于多核学习的风格正则化最小二乘支持向量机（MK-SRLSSVM）。算法利用风格转换矩阵表示包含在样本中的风格信息，并在目标函数中对其进行正则化处理，通过常用的交替优化方法对目标函数进行优化，在迭代过程中同步更新风格转换矩阵和分类器参数。为在预测过程中利用已学习的风格信息，在传统预测方法中增加了两种新的规则，在分类之前预先使用风格转换矩阵对样本风格进行标准化处理。所提出的分类器不仅利用了现有多核学习算法在表示样本的物理特征方面的优势，同时有效挖掘了数据集内包含的风格信息以提高分类性能，在风格化数据集中的实验结果证明了算法的有效性。

• 融合多约束条件的意图和语义槽填充联合识别

  侯丽仙，李艳玲，林民，李成城

  口语理解包含两个子任务——意图识别和语义槽填充，现有的联合建模方法虽然实现了模型参数的共享，并将意图识别的结果作用于语义槽填充，但是对于语义槽填充任务没有考虑到标签前后的依赖关系。采用双向长短时记忆网络（BLSTM），由BLSTM得到隐藏层状态后，对两任务分别加入注意力机制，通过语义槽门控机制将意图识别的结果作用于语义槽填充任务，并在语义槽填充任务中加入条件随机场（CRF）模型，该模型考虑了标签前后的依赖关系从而使得标注结果更为准确。实验数据选择航空信息领域的查询语句，得到的结果是意图识别的准确率达到93.20%，语义槽填充的F1 值达到99.28%，并在SMP中文人机对话技术评测数据集上验证模型的性能。实验结果证明该模型优于其他联合识别模型。

• 结合注意力机制和本体的远程监督关系抽取

  李艳娟，臧明哲，刘晓燕，刘扬，郭茂祖

  关系抽取是从非结构化的文本中抽取关系，并以结构化的形式输出。为了提高抽取准确性并降低对人工标注的依赖，提出了基于注意力机制和本体的远程监督关系抽取模型（APCNNs+OR）。该模型分为特征工程提取模块、分类器模块、本体约束层。在分类器模块中，引入并改进了实例级注意力机制，更好地学习数据袋中每个句子的权重，有效地降低了远程监督假设引入的噪声干扰及句子中实体间的词语信息干扰。在本体约束层，通过引入领域本体对抽取结果进行约束，提高了抽取关系的准确性。SemMed和GoldStandard语料实验结果表明，该模型可有效降低错误标签的噪声干扰，比现有模型具有更好的关系抽取性能。

• SentiBERT：结合情感信息的预训练语言模型

  杨晨，宋晓宁，宋威

  在大规模无监督语料上预训练的语言模型正逐渐受到自然语言处理领域研究者的关注。现有模型在预训练阶段主要提取文本的语义和结构特征，针对情感类任务的复杂情感特征，在最新的预训练语言模型BERT（双向transformers编码表示）的基础上，提出了一种侧重学习情感特征的预训练方法。在目标领域的预训练阶段，利用情感词典改进了BERT的预训练任务。同时，使用基于上下文的词粒度情感预测任务对掩盖词情感极性进行分类，获取偏向情感特征的文本表征。最后在少量标注的目标数据集上进行微调。实验结果表明，相较于原BERT模型，可将情感任务的精度提升1个百分点，特别是训练样本较少时，能取得更先进的效果。

• 双弱感知能力机器人在线协作街道搜索算法

  魏琦，林韦达，吴彤，任永功

  在未知环境中搜索一个目标，是机器人的基本任务场景之一，在现实中有着广泛的应用。相关问题在计算几何学科和机器人学科的研究中得到了广泛的关注。研究了一个双弱感知能力机器人在线协作搜索街道的问题。街道被定义为具有LR可视性的简单多边形P ，两个可相互通信的弱感知能力机器人从街道起点s出发，在预先不知道街道几何信息的前提下，协作完成街道终点t 的搜索。弱感知能力机器人携带的感应器仅能探测可视区域内街道边界的不连续情况，除此之外不能获取任何其他几何信息，如距离和角度。弱感知能力机器人虽然感知能力有限，却具有性价比高、面对不确定因素时可靠性强等优点。基于在线搜索模型的几何特征，提出了竞争比为3的在线协作搜索算法，并通过给出相匹配的竞争比下界，证明了算法的最优性。

• 跌倒异常行为的双重残差网络识别方法

  王新文，谢林柏，彭力

  在异常行为监控中，由于监控视角、人体姿态和场景等复杂的情况，直接通过增加3D卷积神经网络层数来提取有效的视觉特征，容易导致卷积模型发生梯度消失和过拟合，从而降低了行为识别率。针对上述问题，提出了一种基于双重残差卷积网络的跌倒识别方法，通过在残差网络中嵌套残差网络，充分融合了浅层和深层视觉特征，缓解了模型训练时梯度消失问题带来的影响，从而使模型性能得到了提升。最后采用5折交叉验证方法在多相机跌倒数据集（MCFD）和热舒夫大学跌倒数据集（URFD）上进行了测试评估，结果表明双重残差网络性能优于三维卷积网络（C3D）、三维残差网络（3D-Resnet）、伪三维残差网络（P3D）和2+1维残差网络（R(2+1)D）识别方法，从而验证了双重残差网络模型对提高异常行为识别效果的有效性。

• 基于CNN多层面二阶特征融合的肺结节分类

  李维，赵晓乐，段彦隆，刘利军，黄青松

  肺部CT图像具有切片数量巨大，肺结节在图像中的位置和形状各异，且肺结节周围环境复杂等特点，传统肺结节检测方法通常只利用肺结节形状、灰度等特征，肺结节特征信息利用率低，且没有完全考虑肺结节细粒度特征信息。为此提出了基于卷积神经网络多层面二阶特征融合模型（CMSFF）。采用卷积神经网络对同一结节的多层切面分别进行特征提取，通过两个阶段的特征融合，充分考虑肺结节的细粒度特征，实现对肺结节特征信息的准确提取。实验表明，该方法提取到的肺结节特征信息在肺结节恶性程度分类中AUC值达到0.924，能有效提高肺结节恶性程度分类准确率。

• 嵌入注意力机制的多模型融合冠脉CTA分割算法

  沈烨，方志军，高永彬

  冠心病是当今世界上最大的健康问题之一，因此对冠心病的早期预防和诊断非常重要。斑块的存在和冠状动脉血管狭窄是引发冠心病的主要原因，对斑块的检测和冠状动脉血管分割成为检测冠状动脉疾病的首选方案。目前手动分割冠状动脉耗时并且由操作者的主观意识决定，这使得现在的临床医学诊断中对自动分割技术的需要显而易见。提出了一种基于深度学习多模型融合的冠脉CT血管造影（CTA）的血管分割方法，该方法包括三个网络模型：一个原始三维全卷积网络（3D FCN），以及两个在原始3D FCN中嵌入注意力门控（AG）模型的网络。然后把三种网络的预测结果采用多数投票算法进行融合来得到网络预测的最终结果。在后处理阶段，采用水平集函数对网络融合预测的结果进行进一步迭代优化。在评估所提出方法的过程中把JI和DSC分数来作为性能度量进行比较，最终结果表明，所提出的方法提供了更好更准确的分割结果。

• 生成对抗网络的单图像超分辨率重建方法

  彭晏飞，高艺，杜婷婷，桑雨，訾玲玲

  基于深度卷积神经网络的超分辨率重建方法虽然有较高的峰值信噪比（PSNR），但重建结果在大尺度因子下存在缺乏高频信息和纹理细节，视觉感知效果差的问题。针对这一问题，提出了一种基于生成对抗网络的单图像超分辨率重建方法。首先迁移支持向量机中的hinge损失作为目标函数，其次使用更加稳定、抗噪性更强的Charbonnier损失代替L2损失函数，最后去掉了残差块和判别器中对图像超分辨率不利的批规范化层，并在生成器和判别器中使用谱归一化来减小计算开销，稳定模型训练。实验结果表明，在4倍放大尺度因子下，相较其他对比方法，该方法重建图像的PSNR值最高提升4.6 dB，SSIM值最高提升0.1，测试时间较短。实验数据和效果图均表明该方法重建的超分辨率图像视觉效果较好，且有更高的PSNR和SSIM值。