计算机科学与探索

作者：冉哲宇, 陈艳平, 王凯, 黄瑞章, 秦永彬

单位：1. 贵州大学 文本计算与认知智能教育部工程研究中心，贵阳 5500252. 贵州大学 公共大数据国家重点实验室，贵阳 5500253. 贵州大学 计算机科学与技术学院，贵阳 550025

关键词：提示学习,提示标签协同,掩码语言模型

基金：国家自然科学基金（62066007，62066008）；国家重点研发计划（2023YFC3304500）；贵州省重大科技专项（[2024]003）。

提示学习可以将下游任务转换为预训练任务形式的掩码预测任务。然而，将提示学习应用于关系抽取任务时，由于掩码的输出是标签类别的语义向量表示，容易导致生成空间过大而对掩码语义解析度不足。针对这一问题，提出了一种基于提示标签协同的关系抽取方法。为每个关系类构建两组同义词标签。其中一组用于学习掩码表示，另一组用于强化标签语义。在掩码语言模型中引入约束层以对掩码表示进行双向约束。使得两组同义词标签间隐含差异的语义和先验知识能够融入到关系表示中。由于同义词标签是基于知识初始化的，它们在潜在变量空间中可能不是最优的，应该与周围的上下文相关联。因此，在训练过程中，同义词标签表示会与掩码共同参与优化。提出的方法能够提高模型对标签语义的认知能力，同时优化掩码表示，从而提升模型对掩码的语义解析能力。实验结果表明，该方法在标准和小样本设置的三个公共数据集上均明显优于对比方法，证明了该方法的有效性。

来源：2025年第6期

《计算机科学与探索》期刊编辑部

查看计算机科学与探索杂志2025年第6期