计算机科学与探索

作者：夏鸿斌, 肖奕飞, 刘渊

单位：1.江南大学 人工智能与计算机学院,江苏 无锡 214122；2.江苏省媒体设计与软件技术重点实验室,江苏 无锡 214122

关键词：生成对抗网络（GAN）,多头自注意力机制,文本生成,深度学习,门控循环单元（GRU）,自然语言处理

基金：国家自然科学基金(61972182)

近年来,人类与计算机之间的通信已经达到密不可分的程度,因此自然语言处理作为人类与机器进行交互的技术越来越受到研究者的关注,文本生成是自然语言处理中的常见任务之一,目前生成对抗网络在文本生成领域广泛使用并且性能优异。针对传统生成对抗网络判别器的标量指导信号稀疏性问题和仅能学习文本局部语义信息的限制,提出了一种基于多头自注意力机制与LeakGAN结合的模型（SALGAN）。首先,采用融入多头自注意力机制的CNN模型作为特征提取器提取特征向量,以增强特征提取能力;其次,判别器提取的特征作为逐步指导信号发送给生成器以指导生成器生成文本,使得生成的文本更倾向于参考文本;最后,生成器完成文本生成后传递给判别器判断真假,确认文本是否符合人类语言标准。在两个真实数据集COCO图像字幕和EMNLP2017新闻上进行实验,采用BLEU指标进行评估。实验结果表明,将多头自注意力机制融入CNN模型后文本包含全局语义信息,CNN模型的特征提取性能有明显的提升。

来源：2022年第7期

《计算机科学与探索》期刊编辑部

查看计算机科学与探索杂志2022年第7期