Log Cluster：日志数据聚类和模式挖掘算法

摘要：现代 IT 系统经常产生大量事件日志，事件模式发现就成了重要的日志管理任务。为完成此目标，数据挖掘方法已经预先给出了很多方式。本文提出 Log Cluster 算法，其继承了文本事件日志数据聚类和线性模式挖掘。

日志事件模板可以被应用到很多方面，如：事件日志更正规则开发，系统错误和网络异常的检测，相关事件的可视化，网络通信模式的识别和报告，IDS 告警分类的自动构建。

基于行的非结构日志聚类算法，假设在事件日志中每个事件是通过单行日志描述的，每行模式代表一组相似事件。本文提出新的数据聚类算法Log Cluster，可以同时发掘频繁发生的模式和文本事件日志的离散事件。

相关工作：

SLCT：自动日志解析，分配符合相同模式的事件日志行到相同簇中，所有检测的簇都被作为行模式。用户需要提供支持阈值 s 以便SLCT定义每个簇中最少行数量。在日志处理期间，所有来自日志的频繁词放入集合作为此日志的候选。

建立单词字典，对所有日志建立包含单词频率和坐标的字典；建立日志簇；生成日志模板。

IPLoM 是一种层级聚类算法，基于系统消息特点涉及的生产式方法；开始将整个事件日志作为一个单独的部分，三步循环划分。第一步，将有相同词数量的行分配到一起；第二步，每个部分进一步被划分，通过标识最少唯一词数量的词位置，分配有相同词的行到相同部分划分；第三步，基于词对间的关系划分每个部分