Linux数据处理--基础篇(实时更新)

最新推荐文章于 2026-04-21 22:46:57 发布

原创最新推荐文章于 2026-04-21 22:46:57 发布 · 1.8k 阅读

1 ·

本内容遵循CC 4.0 BY-SA版权协议

标签

#大数据基础 #Linux基础

Linux基础专栏收录该内容

1 篇文章

订阅专栏

本文介绍了Linux下的两个强大文本处理工具cut和sed的基本用法及实例。cut命令用于从文件中剪切特定的字节、字符或字段，而sed则是一种流编辑器，能高效地编辑文本文件，支持复杂的正则表达式。

一、cut 命令篇

1.1、定义

cut命令是一个选取命令，其功能是将文件中的每一行”字节” ”字符” ”字段” 进行剪切，选取我们需要的，并将这些选取好的数据输出至标准输出。

1.2、语法

cut 参数 selectedNum file

1.3、参数

-b(bytes) ：以字节为单位进行分割。这些字节位置将忽略多字节字符边界，除非也指定了 -n 标志。

-c(characters) ：以字符为单位进行分割。

-d ：自定义分隔符，默认为制表符。

-f(filed) ：与-d一起使用，指定显示哪个区域。

 #例如：   cut -d "spliter" -f selectedNum file

-n ：取消分割多字节字符。仅和 -b 标志一起使用。如果字符的最后一个字节落在由 -b 标志的 List 参数指示的范围之内，该字符将被写出；否则，该字符将被排除。

1.4、selectedNum 参数

selectedNum ：选取哪些字段、字节、字符被输出。

剪切多个字符有很多方式，

如 selectedNum为 1,3,5 //剪切每一行第 1 3 5个字符

如 selectedNum为 1-5 //剪切每一行第 1-5 个字符

如 selectedNum为 -5 //剪切每一行第 1-5 个字符

如 selectedNum为 3- //剪切每一行第 3个字符以后的

1.5、实例

[root@hadoop01 hadoop]# cut -b 1 /etc/passwd    取该文件的第一个字节
[root@hadoop01 hadoop]# cut -b 2-3 /etc/passwd  取该文件的第2到3个字节
[root@hadoop01 hadoop]# cut -b -5 /etc/passwd   取该文件前5个字节   
[root@hadoop01 hadoop]# cut -c -5 /etc/passwd   取该文件前5个字符     
[root@hadoop01 hadoop]# cut -d ":" -f 3,4,5 /etc/passwd    取以 ：分割的第3,4,5个域的内容

1.6、实例2 实现剪接功能

间结出eth1网卡中的ip（inet addr）

[root@hadoop01 ~]# ifconfig eth1 | grep "inet addr" | cut -d ":" -f 2 | cut -d " " -f 1

二、文本三剑客之 -- Sed命令篇

官网文献参考地址：http://www.gnu.org/software/sed/manual/sed.html#Execution-Cycle

2.1 概念

sed：Stream Editor 流编辑器。

sed 是Linux文本三剑客之一.三剑客分别代表grep(文本过滤)，sed（流编辑器），awk（gawk）（报告生成器）

sed能够完美的配合正则表达式使用，功能不同凡响。处理时，把当前处理的行存储在临时缓冲区中，称为“模式空间”（pattern space），接着用sed命令处理缓冲区中的内容，处理完成后，把缓冲区的内容送往屏幕。接着处理下一行，这样不断重复，直到文件末尾。文件内容并没有改变，除非你使用重定向存储输出。Sed主要用来自动编辑一个或多个文件；简化对文件的反复操作；编写转换程序等。

2.2 语法