计算机科学与探索

作者：王晓东，赵一宁，肖海力，王小宁，迟学斌

单位：1. 中国科学院 计算机网络信息中心，北京 1001902. 中国科学院大学，北京 100049

关键词：主成分分析（PCA）,日志流量模式,层次聚类,可视化

随着国家高性能计算环境各个节点产生日志数量不断增加，采用传统的人工方式进行异常日志分析已不能满足日常的分析需求。为了高效自动化地分析日志，提出了一个两阶段的检测方法。第一阶段首先在预处理时将日志模式进行分类，然后使用主成分分析方法进行异常检测，并将日志类型的有序排列定义为一种日志流量模式，通过该定义将异常检测中得到的异常流量模式提取出来，最后使用层次聚类算法简化流量模式的结果并保存。第二阶段通过第一阶段得到的检测模型和流量模式，可以实时监测分析日志流量信息并匹配对应流量模式。最终基于高性能计算环境中的真实日志进行实验分析，并实现了结果的可视化展示，从而大大减轻了运维人员的工作负担。

来源：2020年第11期

《计算机科学与探索》期刊编辑部

查看计算机科学与探索杂志2020年第11期