Shell中awk文本处理工具和sed文本处理工具

最新推荐文章于 2025-11-04 18:44:07 发布
原创 最新推荐文章于 2025-11-04 18:44:07 发布 · 444 阅读 · 1 ·
本内容遵循CC 4.0 BY-SA版权协议
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
标签
#shell
本文详细介绍了awk编程语言和sed流式编辑器的基本用法，包括语法格式、内建变量、正则表达式应用及常见操作示例。通过具体实例展示了如何进行数据处理和文本过滤。

awk编程语言/数据处理引擎

  • 基于模式匹配检查输入
  • 将期望的匹配结果print到屏幕

语法格式

awk '模式{操作}' 文件1 文件2 ......

示例

awk 'NR==1 {print}' /etc/hosts

常用的内建变量

变量含义
NR当前处理行的行号
FS字段分割，缺省为空格或TAB位
$n当前行的第N个字段
$0当前行的所有文本内容

示例

awk '(NR%2)==1 {print}' file.txt    (输出奇数行)
awk 'NR==1,NR==3 {print}' file.txt  (输出第一行到第三行内容)
awk 'NR==1||NR==3 {print}' file.txt (输出第一行和第三行内容)

使用正则表达式

示例

正则表达式包含在//中间
awk '/2/{print}' file.txt    (输出包含'2'的行)
awk '/bash$/{print}' file.txt  (输出以bash结尾的行)

指定分割、指定输出字段

示例

awk 'NR==2,NR==3{print $1,$3}' file.txt    (默认空格分割，输出第2到第3行的第一和第三个字段)
awk -F. '$5=="benet"{print $0}' file.txt  (用'.'分割，输出第五个字段为benet的整行内容)

Sed流式编辑器/文本过滤

  • 基于模式匹配过滤/修改文本

语法格式

sed '编辑指令' 文件1 文件2 ......
sed -n '编辑指令' 文件1 文件2 ......
sed -i  '编辑指令' 文件1 文件2 ...... (会修改源文件内容)

编辑指令写法

编辑指令格式

* 格式：[地址1[,地址2]]操作类型
* 多条指令之间以分号隔开
* 示例1：sed -n '1p;3p' file.txt
* 示例2：sed -n -e '1p' -e '3p' file.txt  (如有多条指令，在每条指令前加-e)

常用的操作类型

操作符含义
p输出/打印文本行
n取下一行文本（跳过当前行）
d删除
s字符串替换
a追加新的文本

示例

sed -n 'p;n' file.txt   （输出所有奇数行）
sed -n 'n;p' file.txt   （输出所有偶数行）
sed '2,3d' file.txt     （删除第2行到第3行）
sed '/w2k8/d;$d' file.txt  （删除包含w2k8的行和最后一行）
sed '/w2k8/!d' file.txt （删除不包含w2k8的行）
sed '3,4s/hunter/xxx/g' file.txt （将第3行到第4行中的hunter替换为xxx）
sed '1,2s/^/#/g' file.txt   （将第1行到第2行的行首加上#）
sed '1,2s/ter//g' file.txt  （删除第1行到第2行中的ter）

使用正则表达式

sed -n '/w2k8/,$p' file.txt        (从包含w2k8的行到最后一行)
sed -n '/\<This\>/p' file.txt   (输出包含单词This的行)
shell中的文本处理工具（grep，sed，awk）
S_K15的博客
11-22 3943
shell中的文本处理工具一、grep1、grep的格式2、grep字符数量匹配规则3、示例二、sed1、sed的格式2、对字符的处理3、字符替换4、示例三、awk1、awk的格式2、示例 一、grep 文本搜索工具，可以使用正则表达式搜索文本，把匹配的行打印出来 grep支持正则表达式 egrep支持扩展的正则表达式 grep -E= egrep 1、grep的格式 grep 匹配条件 处理文件 -i 忽略大小写 -E “\<root" root字符之前不能有字符
linux系统三大文本处理工具grep、sed及awk的简单介绍
飘过的春风
07-26 7903
grep、sed和awk都是文本处理工具，虽然都是文本处理工具单却都有各自的优缺点，一种文本处理命令是不能被另一个完全替换的，否则也不会出现三个文本处理命令了。只不过，相比较而言，sed和awk功能更强大而已，且已独立成一种语言来介绍。 grep：文本过滤器，如果仅仅是过滤文本，可使用grep，其效率要比其他的高很多；sed：Stream EDitor，流编辑器，默认只处理模式空间，不处理原数据...
12.23文本处理--sed和awk
qq_41627390的博客
12-26 339
一、sed sed：stream editor（流编辑器） :一次处理一行内容，处理时，把当前的行存储在临时缓冲区，处理完后，输送到屏幕 sed [参数] '命令' file        p    ##显示        d    ##删除        a    ##添加        c    ##替换        i    ##插入 1）p：显示 sed -n '/\:/p' /...
Shell 文本处理工具(grep、sed、awk)
Ying_smile的博客
04-13 668
一、grep文本过滤命令 全局搜索研究正则表达式并显示出来 grep 命令是一种强大的文本搜索工具，根据用户指定的“模式”对目标文本进行匹配检查，打印匹配到的行，由正则表达式或者字符机基本文本字符所编写的过滤条件 1、grep匹配字符 -E 正则表达式 grep 匹配条件 处理文本 grep root passwd //把passwd含有root的行导出来 ...
awk常见测试笔试面试
漫步
01-06 5545
创建测试文件如下： #创建测试文件 for i in `ls ../`;do echo $i,2,3,4,5 >>input;doneinput内容： a+b.sh,2,3,4,5 awk,2,3,4,5 case.sh,2,3,4,5 for.sh,2,3,4,5 grep.all,2,3,4,5 if.sh,2,3,4,5 param.sh,2,3,4,5 sed,2,3,4,5 t
shell提取字符串指定的内容
12580的专栏
12-27 2万+
在写shell程序的很多时候我么需要提取字符串中相应的值来做进一步的处理，比如需要写一个关闭某些进程的脚本，此时就需要获取这些进程的ID然后加上kill命令来关闭这些进程，然而当我们使用ps命令去查询进程ID的时候我们得到的值不仅仅包含进程的ID值，还包含很多信息，提取进程ID 这个关键字符串的值就不得不使用两个命令cut 和awk；
Linux学习笔记（五）：shell脚本，强大的文本处理工具awk，sed
2301_77207909的博客
10-03 1521
Linux学习笔记（五）：shell脚本的基础，扩展以及强大的文本处理工具awk，sed的使用与扩展以及在shell脚本中的使用
shell 第二章 文本处理工具(sed,grep,awk
weixin_44743132的博客
11-22 963
一.grep [Globally search a Regular Expression and Print] grep grep -E = egrep 1.grep 格式： grep 匹配条件 处理文件 grep root passwd ##过滤root关键字 grep -i root passwd ##忽略大小写 grep -E "\<root" passwd ##root字符之前不能有字符 grep -E "root\>" p...
Shell文本处理工具详解：sort、uniq、sed、awk实战指南
最新发布
states_stationwo的博客
11-04 717
以行为单位对文件内容进行排序，也可以根据不同的数据类型来排序sort -nr-n:按照数字进行排序(字母按照阿斯克码表排列）-r 反向排序（从大到小）bash：对于数字排序一定要加-n选项，否则会按字符串方式排序，导致100排在25前面。
# Shell 文本处理三剑客：awk、sed 与常用小工具详解
zjl999666999的博客
09-02 1195
AWK 是一种强大的文本处理语言，适用于扫描、过滤、统计和格式化文本输出。其名称来源于三位创始人姓氏的首字母：Alfred Aho、Peter Weinberger 和 Brian Kernighan。sed 用于对文本进行流式编辑，支持查找、替换、删除、插入等操作，适用于自动化脚本和批量处理。工具适用场景特点awk复杂字段处理、统计、格式化输出支持编程结构，功能强大sed流式编辑、替换、删除、插入轻量高效，适合批量处理cut按列截取简单快捷，适合固定格式sort排序支持数值和字典序uniq。
shell中文本处理工具三剑客grep、sed、awk
qq_40764171的博客
06-18 436
shell中文本处理工具三剑客grep、sed、awk1、grep2、sed流编辑器3、报告生成器awk 1、grep 全称是Globally search a Regular Expression and Print,grep是贪婪模式，只要符合条件全收 grep -E = egrep 扩展的grep (1)grep root passwd 过滤root关键字 (2)grep -i root passwd 忽略大小写 (3)grep -E "\<root" passwd root字符之前不能有字符
shell编程入门--文本处理工具grep、sed、awk
weixin_40172997的博客
12-27 339
shell脚本三大文本处理工具： grep    文本过滤命令 sed    行编辑器 awk    报告生成器 常用的正则表达式如下：  元字符  功能  示例  ^  行首定位符  /^my/ 匹配所有以my开头的行  $  行尾...
shell中的文本处理工具——grep、sed、awk
qq_45225437的博客
03-30 466
文章目录一、grep二、sed 一、grep 作用：用于文本搜索，文本过滤器 grep格式：grep  匹配条件 处理文件 常用参数： 参数 含义 grep root passwd 过滤root关键字 grep ^root passwd 以root开头 grep root$ passwd 以root结尾 grep -i root passwd ...
shell的文本处理工具：grep、sed、awk
Gong_yz的博客
02-06 853
本节整理grep、sed、awk三种文本处理工具；Linux系统中grep命令是一种强大的文本搜索工具，它能使用正则表达式搜索文本，并把匹配的行打印出来；sed是一种流编辑器，它一次处理一行内容；awk理解为报告生成器，能够使用条件判定等多种命令截取我们所需要的数据，在日常的工作中用途广泛；
[shell]文本处理工具 grep sed awk
weixin_43941405的博客
12-10 482
Linux修炼之旅shell篇 这次给大家介绍文本处理三剑客 grep sed awk 三大神器熟练掌握可以使操作者更高效快捷地处理大批量的信息。 文章目录Linux修炼之旅shell篇一、grep 过滤1.grep 匹配条件 处理文件2.grep字符数量匹配规则二、sed 替换1.对字符的处理p 显示d 删除a 添加c 替换w 替换i 插入三、awk 一、grep 过滤 1.grep 匹配条件 处理文件 grep root passwd #过滤root关键字 grep -i root passwd
Shell文本处理工具（grep、sed、awk ）
qq_42564122的博客
07-06 555
文本处理三剑客1、grep 1、grep grep （global search regular expression_r(RE) and print out the line,全面搜索正则表达式并把行打印出来），用于查找文件里符合条件的字符串。
Shell中常用的文本处理工具（grep、sed、awk）
Aimee_c的博客
03-28 643
文章目录1.grep（搜索工具）1.1 grep的格式1.2 grep字符数量匹配规则1.3 grep的练习脚本2.sed2.1 sed命令格式2.2 sed命令对字符的处理1.p——显示2. d——删除3.a——添加4.c——替换**5.w ##把符合的行写到指定文件中****6.i——插入****7.r——整合文件**2.3 sed 字符替换2.4 sed练习及脚本3.awk 1.grep（搜...
shell脚本之文本处理工具（grep、sed、awk）
Ctrl_C_V_的博客
12-20 623
shell脚本之文本处理工具一、grep (Globally search a Regular Expression and Print)二、sed 一、grep (Globally search a Regular Expression and Print) [root@M1 mnt]# grep root passwd ##过滤root关键字 root:x:0:0:root:/root:/bin/bash root:test:westos roottest testroot test:root:we
文本处理工具(awk , sed) | grep命令之正则表达式 | shell编程
哦 卷！
10-25 559
文章目录使用命令必须养成的习惯常用远程连接软件最最最常用命令周期性计划任务文本处理工具 - awk文本处理工具 - sedgrep命令之正则表达式shell编程Shell格式shell执行方式变量shell - 算术运算符shell - 比较运算符shell - if分支结构shell - for循环shell - while循环shell - case分支结构shell实战shell - 函数字...
shell浅谈之七文本处理工具grep、sed、awk
热门推荐
乌托邦
09-16 2万+
一、简介       Bash Shell提供了很多字符串和文件处理的命令。如awk、expr、grep、sed等命令，还有文件的排序、合并和分割等一系列的操作命令。grep、sed和awk内容比较多故单独列出，本文只涉及字符串的处理和部分文本处理命令。 二、字符串处理 1、expr命令
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值