DeepTraLog: Trace-Log Combined Microservice AnomalyDetection through Graph-based Deep Learning

原创 已于 2023-02-20 17:39:35 修改 · 1.8k 阅读 · 3
标签
#深度学习 #微服务 #故障定位 #分布式系统 #链路追踪
于 2022-05-18 22:38:22 首次发布
本文介绍了一种基于图深度学习的微服务异常检测方法DeepTraLog，它结合了日志和跟踪信息，解决了现有方法在处理复杂服务间交互和并行请求的问题。通过TEG图表示和深度SVDD-GGNN模型，实现实时无标签异常检测。

DeepTraLog: Trace-Log Combined Microservice AnomalyDetection through Graph-based Deep Learning
DeepTraLog: 基于图的深度学习的Trace-Log组合微服务异常检测

www.fireknight.tech 个人博客，欢迎访问，CSDN不定期更新

  • 总结

    • 提出log和trace的混合服务异常检测方法

    • 基于图深度学习，不需要预训练模型，线上分类检测异常

    • 解决两个痛点

      • 基于log的异常检测：现有的日志异常检测方法将日志视为事件序列，无法处理分布在具有复杂交互的大量服务中的微服务日志。（事件只针对于当前服务，没有上下调用关联）
      • 基于trace的异常检测：忽略了由调用层次结构和并行/异步调用带来的复杂的结构。（主要还是对并行请求的处理）

    • 提出DeepTraLog: 一种基于深度学习的微服务异常检测方法。DeepTraLog使用统一的图表示来描述跟踪的复杂结构，同时结构中嵌入日志事件。结合trace和log训练GGNNs(基于deep SVDD)模型

  • 摘要

    • 基于log和基于trace的问题
    • 介绍DeepTraLog

  • Intro

    • 基于trace的异常检测: 没有处理并行，以及log中的信息

    • 基于log的异常检测：使用日志+时间戳为每个节点日志排序，但缺乏调用链组成信息（不认同，带traceId即可）

      <
最低0.47元/天 解锁文章
dlog:分布式日志系统
03-11
dlog分布式日志系统 ##支持以下特性1.动态修改日志等级[网络或远程登录] 2.日志远程实时输出3.日志集中搜集4.支持全文检索，以及基于日志的用户行为分析5.对java应用不侵入，只需6.支持收集常用服务的日志
微服务（Microservice）那点事
02-25
这次参加JavaOne2015最大的困难就是听Microservice相关的session，无论内容多么水，只要题目带microservice，必定报不上名，可见Microservice有多火。最喜欢其中一页。关于这个典故，可以参考this，此图适用于一切高大上的名字——技术有SOA，Agile，CLOUD，DevOps等等，古代有道，气，八卦等等。此类名词的最大特点就是一解释就懂，一问就不知，一讨论就打架。微服务的流行，Martin功不可没，这老头也是个奇人，特别擅长抽象归纳和制造概念，我觉的这就是最牛逼的markting啊，感觉这也是目前国人欠缺的能力。MartinFowler是国际著名的
论文阅读【异常检测】Trace-Log Combined Microservice Anomaly Detection through Graph-based Deep Learning
weixin_47082769的博客
06-05 2185
工业界的微服务系统通常是由几十到几千个服务运行在不同的机器上组成的大规模分布式系统。系统的异常往往可以体现在trace和log中，分别记录服务间的交互和服务内的行为。现有的跟踪异常检测方法将跟踪视为一系列服务调用。他们忽略了由其调用层次结构和并行/异步调用带来的跟踪的复杂结构。另一方面，现有的日志异常检测方法将日志视为一系列事件，无法处理分布在大量交互复杂的服务中的微服务日志。在本文中，我们提出了 DeepTraLog，一种基于深度学习的微服务异常检测方法。
技术分享｜基于图神经网络的微服务系统调用链和日志融合异常检测方法
pengxin_ce的博客
06-16 2500
基于图神经网络的微服务系统调用链和日志融合异常检测方法微服务系统运行时环境具有高度的复杂性和动态性，由此带来的各种问题导致微服务系统常常出现各种故障。为了尽早发现故障，快速准确的异常检测方法成为保证微服务系统可靠性的重要手段。为了提高微服务系统异常检测的准确率，复旦大学CodeWisdom团队提出一种基于图神经网络的微服务系统调用链和日志融合异常检测方法。该方法通过统一的...
Trace链异常检测汇总
Mark_Australia的博客
04-05 1728
trace异常检测
科研学习|论文解读——Deep learning for anomaly detection in log data: a survey
也许有一天我们再相逢 睁开眼睛看清楚 我才是英雄！
11-29 2290
科研学习|论文解读——Deep learning for anomaly detection in log data: a survey
[论文解读 CCS 17] DeepLog Anamaly Detection and Diagnosis from System Logs through Deep Learning
Ray的博客
01-12 3449
论文题目：DeepLog Anamaly Detection and Diagnosis from System Logs through Deep Learning 论文来源：CCS 2017 (Proceedings of the 2017 ACM SIGSAC Conference on Computer and Communication Security) 论文链接：https://doi.org/10.1145/3133956.3134015 关键词：异常检测；深度学习；日志分析 0 摘要 系.
AIOps：异常检测根因定位——TraceRCA 论文及代码
weixin_42423653的博客
05-13 5320
TraceRCA论文解读及代码复现
基于深度学习的日志数据异常检测
热门推荐
王清欢的博客
12-27 2万+
基于日志数据的异常检测 数据对象 智能运维(AIOps)是通过机器学习等算法分析来自于多种运维工具和设备的大规模数据。智能运维的分析数据对象多源运维数据包括系统运行时数据和历史记录数据，历史记录数据主要包含表单和系统更新文档等。与历史记录数据相比，系统运行时数据能够反映系统的动态特征及系统发生故障时的上下文信息，对未知故障具有更好的探测和表达能力。 系统运行时数据主要包含监控数据和日志数据，监控数据记录的是指系统运行状态下的资源占用情况，如中央处理器使用率、内存使用率、网络流量、进程数目以及进程资源使
DeepLog：通过深度学习从系统日志中检测和诊断异常
qq_43699776的博客
05-07 2101
1.引言 挑战 我们的贡献 2.预备知识 2.1日志分析器 2.2DeepLog体系结构和概述 训练阶段 检测阶段 2.3攻击模型 3.异常检测 3.1执行路径异常 3.1.1传统N-gram模型 3.1.2LSTM模型 3.2参数值和性能异常 基线方法 我们的方法 3.3在线更新异常检测模型 4.基于多任务执行的工作流构建 4.1从多个任务中分离日志条目 4.2使用DeepLog的异常检测模型 4.2.1日志键分离 4.2.2建立一个工作流模型 4.3使用基于密度的聚类方法 4.4使用工作流模型 4.4
基于深度模型的日志序列异常检测
王清欢的博客
04-23 1万+
基于序列的深度模型日志异常检测 ​ 日志异常检测的核心是利用人工智能算法自动分析系统日志来发现并定位故障。根据送入检测模型的数据格式，日志异常检测算法模型分为序列模型和频率模型，其中序列模型又可以分为深度模型和聚类模型。自 2017 年 Min Du 等人提出 DeepLog 以来，基于序列的深度学习建模逐渐成为近年来研究的热点。 深度模型的日志异常检测基本流程 ​ 深度学习使用神经网络的多层体系结构，从原始输入中逐步提取特征，不同的层处理不同级别的特征抽象。由于神经网络在复杂关系建模方面表现出了卓越的能力
Deep Log
ys2899的博客
09-26 4119
我们先解析出非结构化的，文本性的数据在时间伤的铺陈，但我们可以学习到 一个sequential模型在一个结构化的数据。按照个人的理解，就是打印日志内容和 打印的 k string， 例如 print(‘It took %s seconds to finish this process.’%(time_0 - time_1)). 这些日志打印很大程度上反映了系统的状态。 这里值得注意的是，某些值反映了一个执行序列，譬如说，在HDFS重的block_id或者是在OpenStack重的instance_id. D
【异常检测第一篇】DeepLog: Anomaly Detection and Diagnosis from System Logs through Deep Learning
AI蜗牛车
08-22 9865
前言异常检测也属于时间序列问题的一个大分支，记下来一段时间我也会定期分享一些这方面的内容，结合很多ML,DL知识的异常检测和诊断问题，我们一起努力！笔记很长，请细心阅读~一、 Addre...
推荐系统 - SR GNN架构详解（包含图神经网络GNN和门控图神经网络GGNN的介绍）
马飞飞的博客
08-18 2万+
说明 1.SR-GNN是中科院提出的一种基于会话序列建模的推荐系统，这里所谓的会话是指用户的交互过程（每个会话表示一次用户行为和对应的服务，所以每个用户记录都会构建成一张图），这里说的会话序列应该是专门表示一个用户过往一段时间的交互序列。基于会话的推荐是现在比较常用的一种推荐方式，比较常用的会话推荐包括循环神经网络、马尔科夫链。但是这些常用的会话推荐方式有以下的两个缺点： ...
DeepLog:基于系统日志使用深度学习方法做异常检测和诊断
Mark_Australia的博客
07-07 9992
DeepLog 日志异常检测
#从零到一搭建微博情感分类系统：基于BiLSTM的PyTorch完整实战教程【3W字保姆级详解】
2401_88566519的博客
06-24 390
项目使用的是0 → 喜悦1 → 愤怒2 → 厌恶3 → 低落每条数据由两部分组成：第一列为标签（0-3的数字），第二列为微博文本内容。数据集为字符级处理，无需分词，直接按汉字拆分即可。为什么使用字符级而非词语级？对于中文短文本（如微博），字符级处理可以规避分词错误带来的误差，且词表规模更小，模型训练更快，非常适合入门级情感分类任务。函数定义与文档字符串函数接收三个参数：语料文件路径、词表最大尺寸、最低词频。文档字符串清晰说明了函数功能和参数含义，这是工程化代码的好习惯。
深度学习知识点
06-23 303
但一个“全连接网络”如果不包含隐藏层（比如只有输入直接映射到输出的单层感知机），或者结构上不满足多层非线性变换的条件，那它。这 m 个数据必须要有 m 个输入神经元来“接住”它们，然后分别通过 m 条独立的连接线（权重），传递给下一层（第一个隐藏层）的每一个神经元。假设你的数据集是一个表格，有 m 列（比如：年龄、工资、身高），那么你的输入特征维度就是 m。这种层与层之间的“两两相连”就是“全连接”名称的由来。3.多层感知机的第一层的神经元的数目等于输入特征向量的维度。1.全连接网络是指神经网络中的。
LSTM预判+速度门控双保险自愈
2301_77211362的博客
06-21 306
模块功能LSTM 预判预警分析历史通量/应力序列，预测未来失稳风险（如裂纹萌生）Speed-Gated 自愈实时监测通量变化率（速度），当超过阈值时自动增强修复强度双重触发机制满足任一条件（预判高风险 或 实际失稳）即启动自愈动态调节自愈强度随风险等级与速度同步变化。
R1周：Pytorch｜RNN-心脏病预测
最新发布
2301_80985954的博客
06-26 109
什么是循环神经网络（RNN）？前面学过的CNN（卷积神经网络）擅长处理图像这种空间结构数据，但它没法处理文本中这种先后的联系。比如，看一句话我今天心情好，CNN可以提取每个字的特征，但它不知道"今天"在"心情"前面，也不知道"我"是这句话的主语。而RNN的核心思想是：网络在处理当前时刻的输入时，会同时记住上一时刻的状态，然后把两者结合起来做判断。这次做实验让我对RNN有了简单理解。简单说，RNN 就是一个会记事的神经网络。
Intelligent Tomato Ripeness Detection System Based on YOLOv8 Deep Learning
ZSW1218的博客
06-21 244
Abstract: With the intelligent development of modern agriculture, traditional manual tomato ripeness detection methods suffer from low efficiency, strong subjectivity, and high labor costs. To improve the accuracy and efficiency of tomato ripeness detectio
评论 19
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值