计算机科学与探索

作者：杨晨，宋晓宁，宋威

单位：江南大学 人工智能与计算机学院，江苏 无锡 214122

关键词：BERT,情感分类,预训练语言模型,多任务学习

在大规模无监督语料上预训练的语言模型正逐渐受到自然语言处理领域研究者的关注。现有模型在预训练阶段主要提取文本的语义和结构特征，针对情感类任务的复杂情感特征，在最新的预训练语言模型BERT（双向transformers编码表示）的基础上，提出了一种侧重学习情感特征的预训练方法。在目标领域的预训练阶段，利用情感词典改进了BERT的预训练任务。同时，使用基于上下文的词粒度情感预测任务对掩盖词情感极性进行分类，获取偏向情感特征的文本表征。最后在少量标注的目标数据集上进行微调。实验结果表明，相较于原BERT模型，可将情感任务的精度提升1个百分点，特别是训练样本较少时，能取得更先进的效果。

来源：2020年第9期

《计算机科学与探索》期刊编辑部

查看计算机科学与探索杂志2020年第9期