计算机科学与探索

作者：盛蕾, 陈希亮, 赖俊

单位：中国人民解放军陆军工程大学 指挥控制工程学院，南京 210007

关键词：离线多智能体强化学习,分布式学习,表示学习,大语言模型

通过决策Transformer对基础模型进行离线预训练可以有效地解决在线多智能体强化学习采样效率低和可扩展性的问题，但这种生成预训练方法在个体奖励难以定义和数据集不能覆盖最优策略的多智能体任务中表现不佳。针对此问题，采用潜在状态分布改进决策Transformer，提出了一种融合离线预训练和在线微调的多智能体强化学习算法。该算法利用自编码器和独热编码方法生成离散的潜在状态表示，保留了原始状态空间中某些重要的信息；通过潜在的临时抽象改进生成式预训练的决策Transformer，类似于数据增益的技术，在一定程度上解决了未充分覆盖状态空间的离线数据集导致的外推误差问题；采用集中训练和分散执行的方式解决在线微调时智能体的信度分配问题；通过鼓励探索的多智能体策略梯度算法在下游任务中进一步探索协同策略。在星际争霸仿真平台上进行实验，与基线算法相比，在较少甚至没有离线轨迹数据的任务中得分更高，泛化能力更强。

来源：2024年第8期

《计算机科学与探索》期刊编辑部

查看计算机科学与探索杂志2024年第8期