Linux三剑客(awk)

原创 已于 2022-07-31 23:33:41 修改 · 900 阅读 · 2 ·
本内容遵循CC 4.0 BY-SA版权协议
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
标签
#linux #服务器 #bash
于 2022-07-31 19:38:32 首次发布
本文详细介绍了Linux中的awk命令，包括基本语法、打印、BEGIN和END块、列分隔符设置、变量操作、if函数、printf函数、while函数、运算符使用以及正则表达式实例。awk是一个强大的文本分析工具，可用于处理和分析文本文件，通过设置模式和动作，实现对文件内容的灵活处理。文中还展示了如何利用awk进行字符串拼接、文件行计数、过滤和格式化输出等实际操作。

Linux awk

学习内容

  • 学习Linux awk命令

命令详解

AWK 是一种处理文本文件的语言，是一个强大的文本分析工具。
之所以叫 AWK 是因为其取了三位创始人 Alfred Aho，Peter Weinberger, 和 Brian Kernighan 的 Family Name 的首字符。

基本语法

awk [option] 'pattern{action}' file1,file2,...filen

示例

基本打印

测试文本

#test.txt
this is a test file 
this is a test file 
this is a test file 
this is a test file 
this is a test file

awk '{print $1,$2}'是指打印出这个文件的第一列和第二列。当我们不指定分隔符的时候，awk会默认按照空格来进行分割，当字符中间的空格有多个的时候，awk会将连续的空格理解为一个分隔符。

[root@hadooptest01 opt]# cat test.txt | awk '{print $1,$2}'
this is
this is
this is
this is
this is

awk '{print $0}'的时候，会将这一列的值全部打印出来

[root@hadooptest01 opt]# cat test.txt | awk '{print $0}'
this is a test file 
this is a test file 
this is a test file 
this is a test file 
this is a test file

拼接字符串

[root@hadooptest01 opt]# cat test.txt | awk '{print $1,$2,"pig"}'
this is pig
this is pig
this is pig
this is pig
this is pig

BEGIN 和 END

收尾添加相关字符
awk [option] ‘pattern{action}’ file1,file2,…filen
当我们把pattern的模式设置问BEGIN或者END的时候，它就可以在我们输出文件的时候，添加文件的首尾字符串，需要注意的是，BEGIN和END不能写为begin或者end。

BEGIN 和 END。
BEGIN{ 这里面放的是执行前的语句 }
END {这里面放的是处理完所有的行后要执行的语句 }
{这里面放的是处理每一行时要执行的语句}

[root@hadooptest01 opt]# cat test.txt | awk 'BEGIN{print "this is awk begin"} {print $1,$2,"pig"} END{print "this is awk end"}'
this is awk begin
this is pig
this is pig
this is pig
this is pig
this is pig
this is awk end

列分隔符

列分隔符
awk -F，的时候，awk命令就是用，作为分割符号，来分割这个文件中的内容了。

#test.txt
this,is,a,dog
this,is,a,dog
this,is,a,dog
this,is,a,dog
#注意 逗号空格
[root@hadooptest01 opt]# cat test.txt | awk -F, '{print $1}'
this
this
this
this

多分隔符

#log.txt
2 this is a test
3 Do you like awk
This's a test
10 There are orange,apple,mongo

//使用空格分割
[root@hadooptest01 opt]# awk '{print $1,$2,$5}' log.txt 
2 this test
3 Do awk
This's a 
10 There 

//使用多个分隔符.先使用空格分割，然后对分割结果再使用","分割
[root@hadooptest01 opt]# awk -F '[ ,]' '{print $1,$2,$5}' log.txt 
2 this test
3 Do awk
This's a 
10 There apple

设置变量

awk -v # 设置变量

log1.txt
1
3
a
5
b
# a=3
[root@hadooptest01 opt]# awk -va=3 '{print $1,$1+a}' log1.txt 
1 4
3 6
a 3
5 8
b 3
# a=3 b=1
[root@hadooptest01 opt]# awk -va=3 -vb=1 '{print $1,$1+a,$1+b}' log1.txt 
1 4 2
3 6 4
a 3 1
5 8 6
b 3 1

NR FNR : 输出顺序号 NR, 匹配文本行号

# log.txt 
this is a test
Do you like awki
This's a test
There are orange,apple,mongo

[root@hadooptest01 opt]# awk '{print NR,FNR,$0}' log.txt 
1 1 this is a test
2 2 Do you like awki
3 3 This's a test
4 4 There are orange,apple,mongo

NR FNR 区别 FNR是把不同文件的行号进行了区分，而NR没有对文件的行号进行区分

//NR FNR 区别
[root@hadooptest01 opt]# cat test1.txt 
this is a test program
this is a shell test program
[root@hadooptest01 opt]# cat test2.txt 
this#is#a#test#program
this#is#a#shell#test#program

[root@hadooptest01 opt]# awk '{print NR ,$0}' test1.txt test2.txt 
1 this is a test program
2 this is a shell test program
3 this#is#a#test#program
4 this#is#a#shell#test#program

[root@hadooptest01 opt]# awk '{print FNR ,$0}' test1.txt test2.txt 
1 this is a test program
2 this is a shell test program
1 this#is#a#test#program
2 this#is#a#shell#test#program

//打印行数>1的文本
lzx ➤ awk 'NR>1' test1.txt
this is a shell test program

ARGC和ARGV.
ARGV[0]指的是awk这个命令，这一点是awk命令规定的，其他的参数都是值得是后面处理的文件的名称，
ARGC指的是ARGV数组的值的个数，在本例子中，它的值是3。

[root@dev01 yeyz_shell]# awk 'BEGIN{print "aaa",ARGV[1]}' test1 test2
aaa test1

[root@dev01 yeyz_shell]# awk 'BEGIN{print "aaa",ARGV[2]}' test1 test2
aaa test2

[root@dev01 yeyz_shell]# awk 'BEGIN{print "aaa",ARGV[0],ARGV[1],ARGV[2]}' test1 test2
aaa awk test1 test2

[root@dev01 yeyz_shell]# awk 'BEGIN{print "aaa",ARGV[0],ARGV[1],ARGV[2],ARGC}' test1 test2
aaa awk test1 test2

OFS 指定分隔符

[root@hadooptest01 opt]# awk '{print $1,$2}' OFS="***" log.txt 
this***is
Do***you
This's***a
There***are

NF:打印最后一行

 #test.txt
this is a test file
this is a test file
this is a test file
this is a test file
this is a test file

//打印第一行和最后一行
lzx ➤ awk '{print $1,$NF}' test.txt
this file
this file
this file
this file
this file

if函数

打印第一列的最长字符的长度

#cat test.txt
1
11
111
11111

lzx ➤ awk 'BEGIN{cnt=0} {if(length($1)>cnt){cnt=length($1)}} END{print cnt}' test.txt
5

printf函数

printf函数:
%s 字符类型
%d 数值类型
占15格的字符串
‘-’ 表示左对齐，默认是右对齐
printf默认不会在行尾自动换行，加\n

# test.txt
小刘 111111
小左 222222

lzx ➤ awk '{printf "用户名:%s 用户id %d\n",$1,$2}' test.txt
用户名:小刘 用户id 111111
用户名:小左 用户id 222222

lzx ➤ awk '{printf "|%-15s| %-10s|\n", $1,$2}' test.txt
|小刘         | 111111    |
|小左         | 222222    |

while函数

每行打印3次

# test.txt
小刘 111111
小左 222222

lzx ➤ awk '{i=0;while(i<3) {print $0;i++}}' test.txt
小刘 111111
小刘 111111
小刘 111111
小左 222222
小左 222222
小左 222222

lzx ➤ awk '{i=0;while(i<3) {print "名字: 用户ID:",$1,$2;i++}}' test.txt
名字: 用户ID: 小刘 111111
名字: 用户ID: 小刘 111111
名字: 用户ID: 小刘 111111
名字: 用户ID: 小左 222222
名字: 用户ID: 小左 222222
名字: 用户ID: 小左 222222

运算符

在这里插入图片描述

1.过滤第一列大于2 的
[root@hadooptest01 opt]# awk '$1>2' log1.txt 
3
a
5
b

2.找出第一列等于1 的
[root@hadooptest01 opt]# awk '$1==1' log1.txt 
1

3.第一列大于2 的 第二列等于e的
#log1.txt
1
3 e
a
5
b
[root@hadooptest01 opt]# awk '$1>2 && $2=="e"' log1.txt 
3 e

使用正则

~ 和 !~ 匹配正则表达式和不匹配正则表达式

# log.txt
this is a test
Do you like awki
This's a test
There are orange,apple,mongo

1.第一列包含 th
[root@hadooptest01 opt]# awk '$1 ~ /th/ {print $1,$2}' log.txt 
this is

2.第一列以Th开头的
[root@hadooptest01 opt]# awk '$1 ~ /^Th/ {print $1,$2}' log.txt 
This's a
There are

3.第一列不以Th开头的
[root@hadooptest01 opt]# awk '$1 !~ /^Th/ {print $1,$2}' log.txt 
this is
Do you

4.第一列不包含is的
[root@hadooptest01 opt]# awk '$1 !~/is/ {print $1,$2}' log.txt 
Do you
There are
[root@hadooptest01 opt]# awk '!/is/ {print $1,$2}' log.txt 
Do you
There are

好用实例

计算文件大小

[root@hadooptest01 opt]# ls -l *.txt
-rw-r--r--. 1 root root 12 Jul 31 18:35 log1.txt
-rw-r--r--. 1 root root 75 Jul 31 18:40 log.txt
-rw-r--r--. 1 root root 42 Jul 31 17:47 test.txt
[root@hadooptest01 opt]# ls -l *.txt | awk '{print sum+=$5}'
12
87
129

[root@hadooptest01 opt]# ls -l *.txt | awk '{sum+=$5} END{print sum}'
129

从文件中找出长度大于 80 的行：

awk 'length>80' log.txt

总结

学习感悟和总结、反思

参考

https://www.runoob.com/linux/linux-comm-awk.html
https://cloud.tencent.com/developer/article/1533669

linux三剑客grep、sed、awk
qq_49041944的博客
02-27 1212
^d/{sum+=$5} END{print "total size is:",int(sum/1024),"KB"}' //int是取整的意思。{print $1} //效果与awk -F":" '{print $1}'相同,只是分隔符使用FS在代码自身中指定。awk 'BEGIN{print "第1列","第2列"} {print $1,$2}' 1.sh。awk '{print NF}' 1.sh 输出每行有多少字段。
Linux文件处理三剑客详解-grep,sed,awk
weixin_43592627的博客
04-04 1480
grep 是一个强大的命令行工具，用于在文本文件中搜索指定的模式。它能使用特定模式匹配（包括正则表达式）搜索文本，并默认输出匹配行。需要注意的是，grep会将匹配到的整行输出，而awk可以指定某一行某一列进行输出。日志分析和文本处理，grep可以从日志文件中找出错误信息或特定事件，也用于从大量文本文件中提取特定信息sed是编辑之剑：一个流编辑器，它允许用户在文件中进行文本替换、删除、添加等操作。sed支持基础和扩展的正则表达式，并提供了丰富的文本处理功能，如替换命令、地址定界等。
linux中txt文件第一列增加内容（awk）
m0_53945548的博客
04-11 1902
给一个文件中的每一行开头插入字符的方法：awk '{print "需要添加的字符" $0}' fileName。给一个文件中的每一行结尾插入字符的方法：awk '{print $0 "需要添加的字符"}' fileName。想着第一列把菌的名字加上，方便后面合并统计，就找了一下如何在Ubuntu系统把txt文件加内容。删除指定列：awk '{$列数="";今天用python根据dbcan的结果做出来了注释的统计结果。
【嵌入式开发 Linux 常用命令系列 7.2 -- awk 找到空格并插入字符】
CodingCos的博客
09-08 1092
在工作中经常需要需要复制PDF文件表格中的数据，但是复制完成后，就不会以表格的形式存在了。所以想能不能使用linux 脚本或者命令来将复制的内容重新做成表格，比如做成 CSDN markdown 识别的表格。所有的替换操作在一个字段或整行中都是全局的，也就是说，会替换所有匹配的部分，而不仅仅是第一个。这个命令会读取文件中的每一行，并在每个空格后面插入字符"X"，然后打印出来。gsub 是awk中的一个函数，用于进行全局替换。，这个是 markdown 表格的识别符。是一个正则表达式，匹配所有的"
在第一列前面、中间、后面插入字符串
start_2013的专栏
11-05 8067
需要用到shell命令awk 在前面、后面、指定列添加相同字符 （1）给一个文件中的每一行开头插入字符的方法：awk '{print "需要添加的字符" $0}' fileName （2）给一个文件中的每一行结尾插入字符的方法：awk '{print $0 "需要添加的字符"}' fileName （3）给一个文件中的每一行的指定列插入字符的方法：awk '$0=$0X"' fileName 删除某一个列 （1）删除文件中的第一列：awk '{$1="";print $0}' fileName.
awk 在指定字符后面插入新字符
热门推荐
04-06 4万+
awk 在指定字符后面插入新字符 echo a b d c | awk '{$3="efg "$3}1' _________________________________________________________________________________________________________________________________________________________________________________
【嵌入式开发 Linux 常用命令系列 15 -- 在管道符输出的内容后追加字符】
CodingCos的博客
04-02 679
在 shell 中，如果希望将某个命令的输出通过管道传递到另一个命令，并在每一行的末尾追加字符，可以使用。，后面跟着要追加的字符（在本例中是逗号。为其他任何希望追加的字符或字符串。是正则表达式中代表行尾的元字符，用于输出带有换行符的多行文本。根据的需求，可以替换逗号。表示将行尾替换为逗号。
Linux三剑客（grep、awk、sed）
zheou的博客
01-09 6188
Linux三剑客及使用介绍 Linux 三剑客是（grep，sed，awk）三者的简称，他们通常结合正则一起使用。 grep擅长查找，sed擅长修改文件。awk擅长取列。 一、正则表达式 正则表达式：REGular EXPression, REGEXP 元字符：所谓元字符就是指那些在正则表达式中具有特殊意义的专用字符 元字符 功能 . 匹配任意单个字符 * X* 匹配0或多个X字符 + X+ 匹配至少1个X字符 .* 匹配任意多个字符 ^ 匹配首行 $ 匹配行尾 ^
Linux三剑客 grep sed awk 详细使用方法
vanvan_的博客
06-10 3万+
Linux中最重要的三个命令在业界被称为“三剑客”，它们是awk,sed,grep。 我们现在知道Linux下一切皆文件，对Linux的操作就是对文件的处理，那么怎么能更好的处理文件呢？这就要用到我们上面的三剑客命令。 在说这三个命令前我们要插入一个小插曲就是“正则表达式”。 一、正则表达式 所谓的正则表达式我个人理解就是正规的表示方法。他是用简单的方法来实...
LINUX学习—AWK(LINUX三剑客）
LINUX学习笔记—sed
08-22 4124
LINUX学习—awk（LINUX三剑客） awk是一个报告生成器，拥有强大的文本格式化能力； 也是一种文本处理工具，但其主要功能是从处理文件中按照输入的信息格式后显示的工具 awk是一种编程语言，支持条件判断、数组、循环等功能。用于在linux/unix下对文本和数据进行处理。数据可以来自标准输入(stdin)、一个或多个文件，或其它命令的输出。它支持用户自定义函数和动态正则表达式等先进...
Linux给文件中每一行的前面、后面、指定列添加/删除相同字符
小白_努力
08-06 2万+
需要用到shell命令awk 在前面、后面、指定列添加相同字符 （1）给一个文件中的每一行开头插入字符的方法：awk '{print "需要添加的字符" $0}' fileName （2）给一个文件中的每一行结尾插入字符的方法：awk '{print $0 "需要添加的字符"}' fileName （3）给一个文件中的每一行的指定列插入字符的方法：awk '$0=$0X"' fileNa...
Linux命令awk详细用法
m0_61066945的博客
08-31 5416
文本处理工具，快速过滤行、列的值，快速生成大文件、随机数、求和等
shell文本编辑之awk
L2111533547的博客
05-10 1057
awkawk一、awk相关理论1.1 概述1.2 工作原理1.3 命令格式1.4awk常用小命令1.5 awk的一些小案例1.5.1 打印文本内容1.5.2 根据$n提取字段1.5.3 根据选项-F指定分隔符 引言： awk是shell文本编辑的一把利剑 awk 一、awk相关理论 1.1 概述 AWK 是一种处理文本文件的语言，是一个强大的文本分析工具。 它是专门为文本处理设计的编程语言，也是行处理软件，通常用于扫描、过滤、统计汇总工作 数据可以来自标准输入也可以是管道或文件 20世纪70年代诞生于贝尔实
awk命令将一个文本内容逐行追加到另一文本行末
学术程稻属
06-29 804
使用 awk 命令将一个文本文件每行的内容追加到另一个文本文件的对应行的末尾。
Linux命令 - Awk
VmBoys的博客
05-23 650
AWK是一种编程语言，用于在Linux、unix下对文本和数据进行扫描与处理，数据可以来自标准输入、文件、管道。     逐行扫描文件，从第一行到最后一行，寻找匹配特定模式的行，并在这些行上进行用户想要的操作      pattern   {action}     没有指定模式匹配，则默认匹配所有数据，默认处理动作是print打印行     Awk模式： BEGIN模式
awk 文本处理
小知识折射大智慧
06-23 1815
awk 文本处理，单双引号怎么合理打印
Linux向文件每行结尾追加指定内容的方法
最新发布
weixin_53389944的博客
06-10 1131
在 Linux 系统中，可以通过多种方法实现向文件的每行结尾追加指定内容的操作。
Linux - 第六天 shell脚本if for while 和awk
可以李的博客
03-01 318
复习 运算 if 语法：if [ 判断语句];then 注意语法格式！！！ #单层if if [ 判断语句 ];then echo "执行语句" fi # if else if [判断语句];then echo "执行语句" elif [判断语句]; echo "执行语句" else echo "执行语句" fi # 多个判断语句 [...
awk学习
Edidaughter的博客
05-19 537
1.给每一行后面加"xxx" shell给一个文件中的每一行开头插入字符的方法：awk '{print "xxx"$0}' fileName shell给一个文件中的每一行结尾插入字符的方法：awk '{print $0"xxx"}' fileName shell给一个文件中的每一行的指定列插入字符的方法：awk '$O=$O" xxx"' fileName ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值