Shell编程三剑客之awk

原创 于 2022-05-10 12:17:27 发布 · 1k 阅读 · 2 ·
本内容遵循CC 4.0 BY-SA版权协议
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
标签
#linux #运维 #Shell编程三剑客
本文详细介绍了awk工具，它是一种强大的文本分析工具，常用于数据处理和统计。awk逐行读取文本，根据模式或条件执行编辑命令。内容涵盖了awk的工作原理、内置变量、用法示例，包括打印文本内容、BEGIN和END模块、模糊匹配、逻辑运算等。此外，文章还讨论了awk的内置变量如FS、OFS、NR、NF等的用途，以及它们在实际文本处理中的应用。

文章目录

引言

一、awk工具

1、awk概述

  • AWK 是一种处理文本文件的语言，是一个强大的文本分析工具。
  • AWK是专门为文本处理设计的编程语言，也是行处理软件，通常用于扫描、过滤、统计汇总工作
  • 数据可以来自标准输入也可以是管道或文件
  • 20世纪70年代诞生于贝尔实验室，现在centos7用的是gawk

之所以叫 AWK 是因为其取了三位创始人 Alfred Aho，Peter Weinberger, 和 Brian Kernighan 的 Family Name 的首字符。

2、awk工具介绍

  • 功能强大的编辑工具
  • 无交互的情况下实现复杂的文本操作

命令格式

awk 选项 '模式或条件 {编辑指令}' 文件 1 文件 2 …
awk -f 脚本文件 文件 1 文件 2 …

二、awk工作原理

  • 当读到第一行时，匹配条件，然后执行指定动作，再接着读取第二行数据处理，不会默认输出
  • 如果没有定义匹配条件默认是匹配所有数据行，awk隐含循环，条件匹配多少次动作就会执行多少次

逐行读取文本，默认以空格或tab键为分隔符进行分隔，将分隔所得的各个字段保存到内建变量中，并按模式或者条件执行编辑命令。

  • sed命令常用于一整行的处理，而awk比较倾向于将一行分成多个""字段"然后再进行处理。
  • awk信息的读入也是逐行读取的，执行结果可以通过print的功能将字段数据打印显示。
  • 在使用awk命令的过程中,可以使用逻辑操作符"
    &&“表示"与”、“||表示"或”、"!“表示非”;还可以进行简单的数学运算，如+、一、*、/、%、^分别表示加、减、乘、除、取余和乘方。

三、awk内置变量

FS：输入字段分隔符，默认为空格或制表位（tab）

OFS：输出字段的分割符（默认是空格）

RS:输入行分隔符

ORS：输出行的分割符，默认为换行符

NF：当前处理的行的字段个数

NR：当前处理的行的行号（序数）

FNR：读取文件的记录行号（从1开始，若读取新的文件依旧是从1开始）

$0：当前处理的行的整行内容

$n：当前处理行的第n个字段（第n列）

在这里插入图片描述
在这里插入图片描述
显示一个空格，空格需要用双引号引起来，如果不用引号默认以变量看待，如果是常量就需要双引号引起来
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

四、awk用法示例

awk常用内置变量：$1、$2、NF、NR、$0
$1：代表第一列
$2：代表第二列以此类推
$0：代表整行
NF：一行的列数
NR：行数

1、打印文本内容

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

1.1 打印出网卡的IP地址

在这里插入图片描述

1.2 打印出网卡的流量

1.3 打印出根分区的可用量

在这里插入图片描述

2、BEGIN、END模块

逐行执行开始之前执行什么任务，结束之后再执行什么任务，用BEGIN、END

  • BEGIN一般用来做初始化操作，仅在读取数据记录之前执行一次
  • END一般用来做汇总操作，仅在读取完数据记录之后执行一次
    在这里插入图片描述
    awk运算
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

3、模糊匹配

用~表示包含，!~表示不包含

在这里插入图片描述
加双引号表示精确匹配
在这里插入图片描述
在这里插入图片描述

4、数值与字符串比较

在这里插入图片描述

5、逻辑运算&&和||

在这里插入图片描述
打印出1~200之间所有能被7整除并且包含数字7的整数数字
在这里插入图片描述

6、内置变量的用法

FS输入字段的分隔符，默认是空格
OFS输出字段的分隔符，默认也是空格
FNR读取文件的记录数（行号），从1开始，新的文件重新从1开始计数
RS输入行分隔符
ORS输出行分隔符，默认也是换行符

欲知后续如何，请看下回分解

TypeScript类型系统与全栈项目资源包
06-13
本资源包整理了TypeScript类型系统设计检查清单、前后端接口契约模板、全栈项目目录结构、tsconfig配置基线、CI质量门禁、JavaScript迁移到TypeScript计划和常见问题排查指南，适合前端开发、Node.js后端开发、全栈工程化学习和团队代码质量建设参考。内容为原创模板，不包含真实生产密钥、账号、内部仓库地址或敏感配置，可按项目实际技术栈调整。
轻量级物联网开源平台，6分钟快速部署，千万级设备承载、电信级稳定性 物模型-规则引擎-数据通道-组态页面全流程低代码开发、前后端完全开源、支持多行业工业协议
06-13
DGIOT是国内首款轻量级开源工业物联网平台，我们致力于提供五类物联网解决方案：国企/研究院：平台代码开源，无版权产权困扰，国产无“卡脖”之忧；系统集成商：通用设备海量接入、定制设备二次开发、6分钟一键式私有化快速部署，低成本（降90%成本）；工业设备制造商：海量设备上线运维，不受公有云限制，低成本，短周期自建平台，私有化部署，数据安全；开源平台开发者：一键式开发环境，集成和兼容各种最优开源工具，快速承接物联网项目；垂直领域物联网平台：快速部署私有化平台，千万级承载，运营级底座，全开放扩展
单相逆变器闭环逆变电路PWM模型仿真研究（Simulink仿真实现）
06-13
内容概要：本文围绕“单相逆变器闭环逆变电路PWM模型仿真研究”展开，基于Simulink平台构建单相逆变器的闭环控制系统仿真模型，重点研究PWM调制技术在逆变电路中的应用与实现。文中详细阐述了系统架构设计、电压电流双闭环控制策略的实现原理、控制器参数设计及仿真建模全过程，并通过仿真结果验证了控制方案在动态响应、稳态精度与系统稳定性方面的有效性。同时，文档还涵盖多种电力电子系统典型应用场景，如多类型短路故障仿真（中性点不接地、经小电阻接地、经消弧线圈接地等）、软开关技术、微电网能量管理、MPPT控制等，体现出较强的技术综合性和工程实践价值。; 适合人群：电气工程、自动化、电力电子与新能源等相关专业的高校本科生、研究生、科研人员，以及从事电力系统仿真、逆变器设计与新能源并网技术研发的工程技术人员。; 使用场景及目标：①掌握基于Simulink的单相逆变器闭环控制系统建模与PWM仿真方法；②深入理解双闭环控制、SPWM/SVPWM调制、系统稳定性分析等核心技术原理；③为课程设计、毕业设计、科研项目或实际工程开发提供可复用的仿真模型与技术支持； 阅读建议：建议结合文中仿真模型动手实践，重点掌握PI控制器参数整定、PWM信号生成机制与仿真结果分析方法，同时可延伸学习文档中涉及的软开关、故障仿真、微电网控制等关联技术，以拓展系统级设计能力。
群内分享图纸缺字报错，综合字体库从容应对.rar
06-13
做 CAD 的小伙伴注意啦！打开图纸文字乱码、缺字、全是问号？别慌，我整理了全套解决办法，大部分这类问题都能一次性修好，欢迎下载！
基于net8/10的跨平台高性能开源的工业物联网（IIoT）边缘计算网关 专注于工业现场设备数据的高效采集、边缘处理与可靠转发 项目面向真实工业场景设计，强调 稳定性、高性能、可扩展性与工程可维护性
06-13
一个开源的工业物联网（IIoT）边缘计算网关，专注于工业现场设备数据的高效采集、边缘处理与可靠转发。项目面向真实工业场景设计，强调 稳定性、高性能、可扩展性与工程可维护性，适用于工业自动化、能源、电力、制造、楼宇等多种应用环境。ThingsGateway 采用模块化与插件化架构，支持多种工业通信协议，可在边缘侧完成数据采集、预处理、协议转换与转发，有效降低系统耦合度与云端压力，是构建工业物联网系统的基础设施组件。
YOLO算法室内篮球馆球员与篮球设施目标检测数据集-760张-标注类别为篮板-篮球-篮筐-球员.zip
06-13
【注：该页面底部资源详情处，可查看数据集可视化效果】 1. YOLO目标检测数据集， 适用于YOLOV5、yolov7,yolov8, yolov11, yolov13, yolo26等系列算法，含标签，已标注好，可以直接用来训练； 2. 内置data.yaml数据集配置文件，已经划分好了训练集、验证集等； 3. 数据集和模型具体情况可参考 https://blog.csdn.net/zhiqingAI/article/details/124230743?spm=1001.2014.3001.5502
卫星影像机车检测数据集VOC+YOLO格式4995张14类别.md
06-13
重要提示】本资源设置为0积分下载，若非0积分请勿轻易下载 亲爱的CSDN用户： 首先感谢你点进这个资源页面。我需要提前说明一个重要情况： 本资源原本已设置为“0积分下载”，即作者希望完全免费共享。但CSDN平台有时会根据文件的下载热度、文件大小、用户权限等因素，自动将部分资源的积分调整为非0数值（如1积分、2积分、5积分等）。这是平台系统的自动行为，而非作者本人的设定。 因此，如果你当前看到该资源的下载所需积分不是0（例如显示为1、2、3……），请谨慎决定是否下载。 如果你按照非0积分支付并下载后发现资源内容不符合预期、链接失效，或者实际上该资源本应是免费的，作者无法为此承担积分损失或退还操作。强烈建议：仅在页面显示为0积分时进行下载。 另外，本资源描述中并未直接提供具体的下载地址或外部链接，因为它本身是一个通过CSDN官方上传通道提交的文件/内容包。如果你看到描述中没有外部网盘地址，这是正常的——资源文件应通过CSDN内置的“下载”按钮获取。若因平台积分显示异常导致你支付了积分，请优先联系CSDN客服咨询积分退还政策，作者没有权限修改平台自动设定的积分值。 感谢你的理解与支持。技术分享本应开放，但受限于平台规则，特此提醒如上。祝学习进步！
智慧交通违章行为检测数据集VOC+YOLO格式5861张9类别.md
06-13
重要提示】本资源设置为0积分下载，若非0积分请勿轻易下载 亲爱的CSDN用户： 首先感谢你点进这个资源页面。我需要提前说明一个重要情况： 本资源原本已设置为“0积分下载”，即作者希望完全免费共享。但CSDN平台有时会根据文件的下载热度、文件大小、用户权限等因素，自动将部分资源的积分调整为非0数值（如1积分、2积分、5积分等）。这是平台系统的自动行为，而非作者本人的设定。 因此，如果你当前看到该资源的下载所需积分不是0（例如显示为1、2、3……），请谨慎决定是否下载。 如果你按照非0积分支付并下载后发现资源内容不符合预期、链接失效，或者实际上该资源本应是免费的，作者无法为此承担积分损失或退还操作。强烈建议：仅在页面显示为0积分时进行下载。 另外，本资源描述中并未直接提供具体的下载地址或外部链接，因为它本身是一个通过CSDN官方上传通道提交的文件/内容包。如果你看到描述中没有外部网盘地址，这是正常的——资源文件应通过CSDN内置的“下载”按钮获取。若因平台积分显示异常导致你支付了积分，请优先联系CSDN客服咨询积分退还政策，作者没有权限修改平台自动设定的积分值。 感谢你的理解与支持。技术分享本应开放，但受限于平台规则，特此提醒如上。祝学习进步！
YOLO算法室内桌面耳机线缆目标检测数据集-298张-标注类别为线缆.zip
06-13
【注：该页面底部资源详情处，可查看数据集可视化效果】 1. YOLO目标检测数据集， 适用于YOLOV5、yolov7,yolov8, yolov11, yolov13, yolo26等系列算法，含标签，已标注好，可以直接用来训练； 2. 内置data.yaml数据集配置文件，已经划分好了训练集、验证集等； 3. 数据集和模型具体情况可参考 https://blog.csdn.net/zhiqingAI/article/details/124230743?spm=1001.2014.3001.5502
实用代码脚本易语言源码屏幕锁
06-13
实用代码脚本易语言源码屏幕锁
CUDA并行计算优化技巧
06-13
内容概要：本文系统阐述了CUDA并行计算的核心优化技巧，围绕提升SM利用率、最大化内存带宽、隐藏访存延迟和减少指令开销四大目标，从GPU硬件架构、线程模型、内存访问、指令执行、内核设计及工程实践六个维度展开。重点讲解了线程块配置、Warp分支发散规避、全局内存合并访问、共享内存Bank冲突避免、寄存器与常量内存使用、异步传输与多流并行、快速数学函数、原子操作优化、内核拆分与融合、Tensor Core利用等关键技术，并提供了编译优化参数和Nsight系列性能分析工具的使用指导，形成了一套完整的CUDA性能优化方法论。; 适合人群：具备CUDA编程基础，从事高性能计算、深度学习、科学计算或GPU加速开发的工程师与研究人员，尤其适合工作2年以上的开发者提升底层优化能力。; 使用场景及目标：①解决CUDA程序中SM利用率低、内存带宽不足、访存延迟高等性能瓶颈；②掌握从基础到高阶的系统性优化策略，实现程序性能的指数级提升；③结合Nsight工具进行性能剖析与迭代优化。; 阅读建议：学习时应结合实际代码调试与性能分析工具（如Nsight Compute和Nsight Systems）进行验证，优先实施线程块配置、合并访问、-O3编译等低成本高回报的基础优化，再逐步深入共享内存优化、内核融合、Tensor Core利用等高阶技术，同时推荐优先使用cuBLAS、cuDNN等NVIDIA官方优化库以逼近硬件极限性能。
人工智能基于YOLOv8的智能垃圾分类系统研发：校园低碳场景下深度学习模型与软硬件协同设计
06-13
内容概要：本文提供了一份完整的“大学生创新创业训练计划项目”申报材料模板包，围绕“基于深度学习的智能垃圾分类回收箱设计与实现”项目，详细展示了从项目申报书、答辩PPT、中期检查表到结题报告的全套规范文档。内容涵盖项目背景、目标、研究内容、技术路线、创新点、进度安排、预期成果、经费预算及风险应对等关键环节，并以实际案例呈现各阶段成果，如YOLOv8轻量级模型识别准确率达96%、单台成本控制在780元、校园试点回收520kg可回收物、获得软著与论文成果等，形成可复制推广的校园绿色解决方案。; 适合人群：参与大学生创新创业训练计划（大创项目）的本科生团队，尤其是工科类、计算机相关专业、有意向开展人工智能+环保类实践项目的1-3年级学生；同时也适用于指导教师和项目评审人员作为参考模板。; 使用场景及目标：①帮助学生团队系统规划并撰写高质量的大创项目申报书与结题报告；②指导项目全过程管理，包括技术实施、进度控制、经费使用与成果凝练；③支撑项目答辩展示，提升项目规范性与竞争力，冲击“互联网+”“挑战杯”等赛事奖项； 阅读建议：此资源不仅提供文本模板，更体现了项目从立项到结题的完整逻辑链条，使用者应结合自身课题，参照其结构化表达方式、量化目标设定和技术落地路径进行模仿与创新，注重理论与实践结合，强化数据支撑与成果可视化。
YOLO算法室内安防房间空调目标检测数据集-254张-标注类别为风管式-吊顶式-室内空调.zip
06-13
【注：该页面底部资源详情处，可查看数据集可视化效果】 1. YOLO目标检测数据集， 适用于YOLOV5、yolov7,yolov8, yolov11, yolov13, yolo26等系列算法，含标签，已标注好，可以直接用来训练； 2. 内置data.yaml数据集配置文件，已经划分好了训练集、验证集等； 3. 数据集和模型具体情况可参考 https://blog.csdn.net/zhiqingAI/article/details/124230743?spm=1001.2014.3001.5502
MATLAB实现的两级OPF与电动车充电调度，用于配电网络.zip
最新发布
06-13
1.版本：matlab2014a/2019b/2024b 2.附赠案例数据可直接运行。 3.代码特点：参数化编程、参数可方便更改、代码编程思路清晰、注释明细。 4.适用对象：计算机，电子信息工程、数学等专业的大学生课程设计、期末大作业和毕业设计。
光伏储能单相逆变器并网仿真模型（Simulink仿真实现）
06-13
内容概要：本文提供了一个基于Simulink的光伏储能单相逆变器并网仿真模型，系统实现了并网逆变电路的PWM调制控制、闭环控制策略及并网运行特性的仿真分析，涵盖系统建模、控制算法设计、稳定性验证与动态性能评估等关键环节。该模型不仅支持对单相逆变器在并网过程中的电流谐波、功率因数、电能质量及系统稳定性的深入研究，还可拓展应用于多类型电力系统仿真场景，如MPPT控制、软开关技术、微电网能量管理、短路故障分析（包括单相、两相接地及相间短路）、直流电机双闭环控制、Buck/Boost类变换器控制等，展现出广泛的科研适配性与工程实践价值。; 适合人群：面向具备电力电子、自动控制理论或电气工程背景，熟练掌握Simulink/Matlab仿真工具，从事新能源发电系统、微电网控制、逆变器拓扑与控制策略研究的硕士/博士研究生、科研人员及电力系统相关领域的工程技术人员。; 使用场景及目标：①开展光伏发电系统并网控制策略的设计与仿真验证；②学习并掌握单相逆变器PWM调制、锁相环（PLL）、电压电流双闭环控制等核心技术的建模方法；③作为课程设计、毕业设计或科研项目的仿真平台，支撑控制系统开发与优化；④结合文中提供的多种电力系统案例（如故障仿真、储能控制、微网调度），进行横向对比与综合能力提升； 阅读建议：建议读者结合文中列出的多个仿真案例进行扩展学习，重点关注控制器参数设计与系统动态响应之间的关系，动手复现模型并进行仿真调试，通过改变负载、电网条件或控制参数，深入理解并网逆变器的工作机理与控制规律，从而提升实际科研与工程应用能力。
AI AgentHeadroom 上下文压缩层完整源码（Token最高节省95%）
06-13
本资源为Headroom项目完整源码包，是一款专为AI Agent设计的可逆上下文压缩中间层。 1. 核心功能：在不改变Agent行为的前提下，对工具输出、日志、RAG结果、对话历史等内容进行智能压缩，最高节省95% Token消耗； 2. 技术亮点：采用结构感知压缩引擎，支持零侵入集成，压缩后的内容可按需还原，不丢失关键信息； 3. 适配场景：兼容Claude Code、Cursor、Codex等主流AI Agent工具，支持本地运行，无需复杂配置； 4. 适用人群：AI Agent开发者、大模型应用优化工程师、需要降低Token成本的项目团队，以及学习上下文压缩技术的开发者。
企业完整版字体包，办公图纸统一标准.rar
06-13
做 CAD 的小伙伴注意啦！打开图纸文字乱码、缺字、全是问号？别慌，我整理了全套解决办法，大部分这类问题都能一次性修好，欢迎下载！
智慧交通港澳地区车牌检测数据集VOC+YOLO格式4167张4类别.md
06-13
重要提示】本资源设置为0积分下载，若非0积分请勿轻易下载 亲爱的CSDN用户： 首先感谢你点进这个资源页面。我需要提前说明一个重要情况： 本资源原本已设置为“0积分下载”，即作者希望完全免费共享。但CSDN平台有时会根据文件的下载热度、文件大小、用户权限等因素，自动将部分资源的积分调整为非0数值（如1积分、2积分、5积分等）。这是平台系统的自动行为，而非作者本人的设定。 因此，如果你当前看到该资源的下载所需积分不是0（例如显示为1、2、3……），请谨慎决定是否下载。 如果你按照非0积分支付并下载后发现资源内容不符合预期、链接失效，或者实际上该资源本应是免费的，作者无法为此承担积分损失或退还操作。强烈建议：仅在页面显示为0积分时进行下载。 另外，本资源描述中并未直接提供具体的下载地址或外部链接，因为它本身是一个通过CSDN官方上传通道提交的文件/内容包。如果你看到描述中没有外部网盘地址，这是正常的——资源文件应通过CSDN内置的“下载”按钮获取。若因平台积分显示异常导致你支付了积分，请优先联系CSDN客服咨询积分退还政策，作者没有权限修改平台自动设定的积分值。 感谢你的理解与支持。技术分享本应开放，但受限于平台规则，特此提醒如上。祝学习进步！
外来 CAD 字体加载出错，整套字体解决故障.rar
06-13
遇到 CAD 图纸文字变问号、乱码别发愁！分享几组实用处理技巧，覆盖常见问题，大家按需取用
php多用户打卡记录无图片版源码.zip
06-13
因为工作需要，每天需要打很多次卡，然后忙起来就忘了，忙完了就会想，刚才打卡了吗？弄错就会漏打卡了，漏打卡会有处罚。就想到写一个程序来解决这个痛点。就有了本次发布的这个程序。 PHP项目，修改起来也简单，也方便二开。本来就是H5页面布局，部署好，直接手机浏览器打开，或者使用封装工具，封装成apk。本人已打包为微信小程序，使用起来很方便。 项目简介 本项目是一个多用户打卡记录系统，基于 PHP + MySQL 开发，提供简洁的用户打卡功能和记录管理。 核心功能 功能模块 描述 用户认证 支持用户注册、登录、密码修改、密码重置 打卡功能 用户可进行每日打卡，记录打卡时间 记录查询 支持按日期查询打卡记录 用户管理 支持头像上传、个人信息查看 数据统计 提供打卡统计功能 技术特点 轻量级架构：纯 PHP 开发，无需框架依赖，部署简单 响应式设计：移动端友好的 UI 界面，支持触摸操作 安全性： 使用 prepare + bind_param 防止 SQL 注入 密码采用哈希加密存储 Session 会话管理用户状态 模块化设计：API 接口与前端分离，便于扩展 项目结构 Plain Text ├── api/ # RESTful API 接口 │ ├── checkin.php # 打卡接口 │ ├── login.php # 登录接口 │ ├── register.php # 注册接口 │ ├── records.php # 记录查询接口 │ ├── stats.php # 统计接口 │ └── … ├── config/ # 配置文件 │ ├── database.php # 数据库配置 │ └── auth.php # 认证配置 ├── sql/ # 数据库脚本 │ └── init.sql # 初始化脚本 ├── avatars/ # 头像存储目录 ├── ind
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

风雪一更ing

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值