BPF性能分析—内存篇page_fault

原创已于 2022-01-22 20:35:42 修改 · 1.5k 阅读

标签

#linux #运维 #服务器

收录于

于 2022-01-21 21:47:52 首次发布

性能分析优化专栏收录该内容

38 篇文章 ¥19.90 ¥99.00

订阅专栏

超级会员免费看

本文深入探讨内存性能分析，重点关注page_fault，包括minflt/s和majflt/s的含义及其影响。通过分析Linux内核代码，解释不同场景下的内存交互。文章提供了解决高内存故障率的步骤，包括定位关键进程、分析malloc次数和大小，并利用bcc工具生成火焰图以指导优化。

性能分析—内存篇page_fault

分析步骤

1.`sar -B 1`整体分析,重点关注fault/s

# sar -B 1

Linux 5.4.0-92-generic (zhangxa-Precision-3650-Tower-docker) 	01/17/22 	_x86_64_	(16 CPU)

11:35:37     pgpgin/s pgpgout/s   fault/s  majflt/s  pgfree/s pgscank/s pgscand/s pgsteal/s    %vmeff
11:35:38         0.00

了解本专栏

订阅专栏解锁全文

超级会员免费看

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

self-motivation

关注关注

0
点赞
踩
2

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
打赏
打赏
打赏举报

举报

专栏目录

订阅专栏

【信息科学与工程学】【运营科学】第二篇 C4信息与通信网络运营 (C4) ——数据中心网络运营06

weixin_49199313的博客

03-26

886

13 | 司法诉讼 | 原告律师 | 争取和解优势 | 证据披露的序贯博弈 | 策略性证据释放 | 持有证据集E = {强证据e_s，中证据e_m，弱证据e_w}。设公众原有认知人格向量为 Pold=(p1，p2，...，pk)，其中p_i为负面特质（如“不敬业”）。危机后，通过行为序列 {At}和宣传，将公众认知向新向量 Pnew引导，使得在关键维度上， Pnew与 Pold的余弦相似度降低，并与一个正面的、可接受的“原型”（如“浪子回头”、“慈父”）对齐。

bcc实战(一)---------内存性能优化

happyAnger6的专栏

01-05

672

其实我们可以针对不同类型的问题，制作相应的火焰图。因为不同cpu上linux处理page_fault的入口可能不同，所以我们先用bpftrace工具查找一下对应的函数。使用TCMalloc后可以使用火焰图和pidstat再次确认内存使用情况。如果改头善不明显，可能要针对里程内存的使用特点，对TCMalloc进行参数调整或者使用其它内存分配器。可以看到进程每秒的page_fault次数有几万次，数量还是很高的，有很大优化空间.使用TCMalloc让进程尽可能的缓存使用的物理内存，而不是频繁的交还操作系统。

参与评论您还未登录，请先登录后发表或查看评论

内核调试之kprobe

苟浩的博客

03-22

2298

trace-kprobe 简介在调试内核的时候要跟踪函数有没有执行或者返回值等等，kprobe可以实现这些，用代码写的kprobe模块还可以修改返回值。这篇主要介绍kprobe在trace下的使用。本文以 do_filp_open 函数为例，来看一下kprobe在trace里的基本使用，do_filp_open代码如下： struct file *do_filp_open(int dfd, struct filename *pathname, const struct open_flags *op)

Linux内存管理之页面回收

最新发布

weixin_42524945的博客

05-02

206

本文深入探讨了如何利用perf生成Off-CPU火焰图，揭示程序在等待状态下的性能瓶颈。通过分析I/O阻塞、锁竞争等隐形问题，结合实战案例和工具链配置，帮助开发者精准定位并优化系统延迟，显著提升应用性能。

11.1 do_page_fault()缺页中断核心函数

Do one thing at a time, and do well.

07-18

5183

缺页中断处理的核心函数是do_page_fault()，该函数的实现和具体的体系结构相关。 [arch/arm/mm/fault.c] static int __kprobes do_page_fault(unsigned long addr, unsigned int fsr, struct pt_regs *regs) { struct task_struct *tsk; struct mm_struct *mm; int fault, sig, code; uns

Page Fault，你真的理解了吗？

Interview_TC的博客

08-04

2602

本文深入解析Page Fault（缺页异常）的本质与内核实现机制。主要内容包括：1）Page Fault的分类与设计目的，支持按需分配、Swap和内存保护；2）触发流程与不同CPU架构的实现差异；3）通过代码实验演示非法访问和按需分配场景，结合bpftrace、ftrace等工具追踪分析；4）澄清常见误区，强调Page Fault不等同于错误；5）提供动手实验方法，建议结合多种工具多角度观察。文章指出Page Fault是现代操作系统内存管理的基石，理解其原理对性能优化和系统调优至关重要。

新体制SAR——BiDi SAR

爱学习的小伟的博客

12-12

1014

TerraSAR-x实验模式BiDi模式，双向同步接收模式

Linux性能分析神器：sar命令详解（附实战示例+常见问题排查）

weixin_60250117的博客

03-05

2856

sar命令是Linux系统性能监控的瑞士军刀，但很多开发者对它的使用仅停留在表面。本文将深入解析sar命令的原理、常用场景、实战技巧，并附赠高频问题排查指南，助你快速定位系统性能瓶颈！

计算机结构（Computer Architecture）----------- 虚拟内存（Virtual Memory）页替换算法(Java实现OPT/ESC/FIFO)

英俊强健的博客

11-10

1343

当某个进程将内存中分配的空间全部使用了，这时需要使用一个新page的内容，这page不在内存中，因此就会发生page fault。此时就要在内存空间中挑选一个牺牲的page，将它换回Disk，把需要的新page引入内存中。如何挑选一个最适合的牺牲page（比如将来进程不再使用或最少或最久才会使用的page）这就是页面替换算法要做的事情。在介绍页替换算法前，我们先来看一个公式： Effecti...

用户空间缺页异常pte_handle_fault()分析--(上)

系统运维

08-18

549

前面简单的分析了内核处理用户空间缺页异常的流程，进入到了handle_mm_fault()函数，该函数为触发缺页异常的地址address分配各级的页目录，也就是说现在已经拥有了一个和address配对的pte了，但是这个pte如何去映射物理页框，内核又得根据pte的状态进行分类和判断，而这个过程又会牵扯出一些其他的概念……这也是初读linux内核源码的最大障碍吧，在一些复杂的处理中，一个点往往可以...

libbpf-bootstrap开发指南：用户态探针 - uprobe

阿呆的隐秘角落

07-16

841

做全网最好的libbpf-bootstrap 开发指南

BPF之事件源

大吉

01-02

1764

基础 1. BPF和eBPF概念 BPF 原是 Berkeley Packet Filter（伯克利数据包过滤器）的缩写，1992诞生，用于网络包过滤。2014经过修改并入 Linux 内核主线，从此 BPF 变成了一个更通用的执行引擎，主要用于网络、可观测性和安全。将来可能会拓展到更多应用领域，比如控制 scheduler 的行为。 eBPF 是扩展后的 BPF，增加了更多的寄存器，增加 BPF 映射型存储（map）、设计成可即时编译 JIT 方式使用，不过官方缩写通常不带"e"，内核中只有一个执行引擎

uprobes技术介绍+示例代码,ebpf下的uprobe介绍+代码解释(用户层+内核层代码),修改内核层写法,将两个函数与bpf程序分离,去掉用户函数所在程序的符号表(strip,如何解决)

m0_74206992的博客

03-30

3402

eBPF挂载函数小结

qq_43573047的博客

04-25

1135

在C或C++应用程序中，可以使用DTrace或SystemTap的API定义USDT探针，如下通过安装之后，就能通过使用宏来定义usdt，最多可以包含有12个参数。// 触发 USDT 跟踪点return 0;

可观测性项目对 uprobe 的需求理解与实现

eBPF_Kindling的博客

12-06

983

uprobe是一种用户空间探针，uprobe探针允许在用户空间程序中动态插桩，插桩位置包括：函数入口、特定偏移处，以及函数返回处。当我们定义uprobe时，内核会在附加的指令上创建快速断点指令（x86机器上为int3指令），当程序执行到该指令时，内核将触发事件，程序陷入到内核态，并以回调函数的方式调用探针函数，执行完探针函数再返回到用户态继续执行后序的指令。

内存泄露？腾讯工程师2个压箱底的方法和工具

QcloudCommunity的博客

12-22

1068

导读｜遭受内存泄露往往是令开发者头疼的问题，传统分析工具 gdb、Valgrind在解决内存泄露问题上效率较低。本文特别邀请到了腾讯后台开发工程师邢孟棒以 TDSQL实际生产中mysql-proxy内存泄露问题作为分析对象，分享其基于动态追踪技术的通用内存泄露（增长）分析方法。其中将详细介绍内存分配器行为分析、缺页异常事件分析，涵盖应用程序内存分配的常见过程。阅读完本文后，开发者仅需关注少数可能导...