计算机科学与探索

作者：王玉荣, 林民, 李艳玲

单位：内蒙古师范大学 计算机科学技术学院，呼和浩特 010022

关键词：跨语言词向量,蒙汉文,BERT

随着互联网多语言信息的发展，如何有效地表示不同语言所含的信息已成为自然语言信息处理的一个重要子任务，因而跨语言词向量成为当下研究的热点。跨语言词向量借助迁移学习将单语词向量映射到一个共享的低维空间，在不同语言间进行语法、语义和结构特征的迁移，能够对跨语言语义信息进行建模。BERT模型通过大量语料的训练，得到一种通用的词向量，同时根据具体的下游任务进一步动态优化，生成上下文语境敏感的动态词向量，解决了以往模型的聚义问题。通过对现有基于BERT的跨语言词向量研究的文献回顾，综合阐述了基于BERT的跨语言词向量学习方法、模型、技术的发展，以及所需的训练数据。根据训练方法的不同，分为有监督学习和无监督学习两类，并对两类方法的代表性研究进行详细的对比和总结。最后概述了跨语言词向量的评估方法，并以构建基于BERT的蒙汉文跨语言词向量进行展望。

来源：2021年第8期

《计算机科学与探索》期刊编辑部

查看计算机科学与探索杂志2021年第8期