Linux三剑客超全精讲（grep+sed+awk）零基础入门｜正则+实战面试题

Linux三剑客超全精讲（grep+sed+awk）零基础入门｜正则+实战面试题

📌 博客简介：Linux三剑客是运维、开发、面试必考核心技能！本文手把手讲解grep（过滤行）、sed（行处理）、awk（列处理），配套正则/扩展正则详解、最全参数表、可直接复制的实战案例，零基础一遍吃透，永久收藏！

✅ 适用人群：Linux新手、后端开发、运维工程师、面试刷题

✅ 核心技能：文本过滤、替换删除、列截取、统计计算、正则匹配、生产实战

一、三剑客核心分工（一句话记住）

三剑客各司其职，记忆口诀非常简单：

• grep：抓行、过滤、搜索 —— 只筛选，不修改

• sed：行编辑器 —— 对整行增、删、改、替换

• awk：列处理器 —— 切片、截取列、统计、计算

前置测试文件（全文通用）

新建 test.txt，所有案例均使用该文件：

cat > test.txt <<EOF
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
mysql:x:27:27:MySQL Server:/var/lib/mysql:/bin/false
nginx:x:997:995:Nginx user:/var/lib/nginx:/sbin/nologin
EOF

二、必备基础：正则与扩展正则（三剑客核心）

三剑客所有高级用法都依赖正则表达式，不会正则=不会三剑客。

2.1 基础正则（默认支持）

grep、sed 默认支持基础正则，无需额外参数。

2.2 扩展正则（必须开启参数）

扩展正则更简洁、支持逻辑或、分组，需要参数开启：
grep -E、sed -r

面试高频：过滤配置文件空行和注释行 grep -vE '^#|^$'

三、grep 文本过滤（抓行工具）

3.1 核心语法

grep [选项] "关键词" 文件名

3.2 常用选项表

3.3 实战案例

# 匹配包含root的行
grep "root" test.txt

# 反向匹配：不包含nologin的行
grep -v "nologin" test.txt

# 忽略大小写 + 显示行号
grep -in "mysql" test.txt

# 扩展正则：匹配root或nginx
grep -E "root|nginx" test.txt

# 面试必考：过滤注释行、空行
grep -vE '^#|^$' /etc/profile

四、sed 流编辑器（行增删改替换）

核心重点：sed 默认只屏幕输出，不加 -i 不修改原文件！

4.1 核心语法

sed [选项] '指令' 文件

4.2 常用指令与选项

4.3 经典实战案例

# 替换：每行第一个 root 改为 admin
sed 's/root/admin/' test.txt

# 全局替换 g=global
sed 's/nologin/false/g' test.txt

# 删除包含nginx的行（仅预览，不改文件）
sed '/nginx/d' test.txt

# 第2行下方追加内容
sed '2a hello world' test.txt

# 第2行上方插入内容
sed '2i new line' test.txt

# 只打印2-3行内容
sed -n '2,3p' test.txt

# 安全修改：备份原文件再修改（生产推荐！）
sed -i.bak 's/nologin/false/g' test.txt

💡 生产最佳实践：永远用 -i.bak，自动生成备份文件，防止改错无法恢复。

五、awk 列处理神器（统计、切片、计算）

三剑客最强工具，擅长分列、判断、统计、计算，日志分析必备。

5.1 核心语法

awk '条件{动作}' 文件

5.2 必背内置变量

5.3 高频实战案例

# -F: 指定冒号为分隔符
# 打印用户名、登录shell
awk -F: '{print $1,$7}' test.txt

# 打印最后一列
awk -F: '{print $NF}' test.txt

# 打印行号+用户名
awk -F: '{print NR,$1}' test.txt

# 条件筛选：UID大于100的用户
awk -F: '$3>100 {print $1}' test.txt

# 匹配root行，输出用户名
awk -F: '/root/ {print $1}' test.txt

# 磁盘查看，截取盘符和使用率
df -h | awk '{print $1,$5}'

六、三剑客组合实战（面试高频真题）

# 1. 过滤含nologin的行，只输出用户名
grep "nologin" test.txt | awk -F: '{print $1}'

# 2. 清理配置文件注释与空行
grep -vE '^#|^$' /etc/profile

# 3. 批量替换所有用户shell
sed -i.bak 's/\/bin\/bash/\/bin\/sh/g' test.txt

七、终极记忆总结（必考）

• grep：只筛选行、搜索匹配，不修改文件

• sed：整行处理（增删改替换），改文件必加 -i.bak

• awk：分列处理、判断统计、日志分析最强

八、新手常见坑

• sed 不加 -i 只预览，不会改动磁盘文件

• awk 默认空格分隔，处理冒号文件必须加 -F:

• 扩展正则必须带 -E/-r，否则匹配失效

• 管道 | 是将前命令输出作为后命令输入，三剑客组合核心

💡 点赞+收藏！Linux三剑客最全入门手册，面试、工作直接复用！