sed文本处理(五)选择性删除

原创 于 2025-08-20 16:45:37 发布 · 270 阅读 · 0 ·
本内容遵循CC 4.0 BY-SA版权协议
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
GEO检测
标签
#linux

　　选择性删除某些内容

1. 只显示匹配区间外的行

　　

2. 删除连续的重复行

　　

　　上图中不相邻的重复行不会删除

3. 删除重复行

　　???

4. 删除重复行外的所有行

　　

　　上图中，不连续的重复行也删除了

5. 删除前几行

　　

6. 删除最后一行

　　

7. 删除最后两行

　　

8. 删除后10行。两种方法

　　

9. 删除8的倍数行

　　文件内容

　　

　　处理后的输出

　　

　　另一种实现

　　

10. 删除匹配行

　　

11. 删除空行

　　

　　另一实现方法

　　

12. 删除多个空行，保留第一个空行

　　

　　另一实现

　　

13. 保留多个空行的前两行

　　

14.  删除文件顶部所有空行

　　

15. 删除尾部所有空行

　　

zhanglong71
关注
18.文本处理命令sed
小鹏linux的博客
04-08 1780
sed主要是用来将数据进行选取，替换，删除，新增的命令。sed通过一次仅读取一行内容来对某些指令进行处理后输出。首先sed通过文件或管道读取文件内容，但sed默认并不输出直接修改源文件，而是将读入的内容复制到缓冲区域中，称之为模式空间。 Linux sed 命令是利用脚本来处理文本文件。 sed 可依照脚本的指令来处理、编辑文本文件。 Sed 主要用来自动编辑一个或多个文件、简化对文件的反复操作、编写转换程序等
Linux sed 工具用法教程
u011139711的专栏
02-23 1139
Linux sed工具用法
linux sed去除重复,删除文本中的重复行(sort+uniq/awk/sed)
weixin_42348880的博客
05-25 4876
在进行文本处理的时候，我们经常遇到要删除重复行的情况。那怎么解决呢？下面就是三种常见方法？第一，用sort+uniq，注意，单纯uniq是不行的。shell> sort file | uniq这里我做了个简单的测试，当file中的重复行不再一起的时候，uniq将服务删除所有的重复行。经过排序后，所有相同的行都在相邻，因此unqi可以正常删除重复行。第二，用sort+awk命令，注意，单纯aw...
删除重复内容行
csnewdn的专栏
01-19 1594
删除重复内容行 由于要处理一个两万多行的数据，但要删除其中内容重复的行，所以找了几个方法： 1. 用sed替换重复内容，使用命令 -n "G;s/\n/&&/;/^\(.*\n\).*\n\1/d; s/\n//;h;P" "$(FilePath)" （这里是在editplus里的使用，注意$(FilePath)必须是带路径的文件名）。当然sed不需依赖editplus，可以单独使用的。优
sed 删除多行
阿乐的博客
06-09 6301
3、使用sed命令打开文本文件，并使用正则表达式匹配需要删除的多行。其中，pattern 是要匹配的正则表达式，N 是要删除的行数。这条命令会删除从包含 pattern 的行开始的 N 行。其中的5和10表示要删除的行号的范围，d表示删除的命令，filename表示要操作的文件名。这将删除从包含 “hello” 的行开始的两行。
Linux 删除文本中的重复行
轻轻草原
10-01 980
在进行文本处理的时候，我们经常遇到要删除重复行的情况。那怎么解决呢？ 下面就是三种常见方法？ 第一，用sort+uniq，注意，单纯uniq是不行的。 shell> sort -k2n file | uniq 这里我做了个简单的测试，当file中的重复行不再一起的时候，uniq将服务删除所有的重复行。经过排序后，所有相同的行都在相邻，因此unqi可以正常删除重复行。 第二，用sort+aw...
编写shell脚本将文件中重复的行删除
最新发布
程序猿老樊的博客
09-08 999
使用sort+uniq/awk/sed可以来完成。 方法一：利用sort以不重复的方式打印出文件所有的行并排序-u，表示unique。sort -u file方法二：利用sort先对文件按行排好序之后再交由uniq处理。sort -k 指定列，-t指定列分隔符。sort -k 1 -t ':' file|uniq方法三：利用sort+awk来完成。sort file | awk '{if ($0!=line) print;line=$0}'if ($0!=line) print;表示当前行是否等于上一行，不
Unix文本处理工具之sed
wujay
11-01 584
转：http://blog.csdn.net/xia7139/article/details/10282861 sed也是Unix的文本处理工具。sed是Stream Editor(流式编辑器)的缩写，它能够基于模式匹配过滤(所谓过滤就是在文件中找到符合某些条件的行)修改文本(就是对找到的符合条件的内容进行一些修改操作)。 1、sed命令格式 1.1 sed命令的基本格式 sed命令主要...
sed简单使用(五)选择性删除
weixin_30867015的博客
06-06 131
　　选择性删除某些内容 1. 只显示匹配区间外的行 　　 2. 删除连续的重复行 　　 　　上图中不相邻的重复行不会删除 3. 删除重复行 　　??? 4. 删除重复行外的所有行 　　 　　上图中，不连续的重复行也删除了 5. 删除前几行 　　 6. 删除最后一行 　　 7. 删除最后两行 　　 8. 删除后10行。两种方法 　　 9. 删除8的倍数行 　　...
sed与awk去除重复行
wqjtq的博客
12-19 1387
1 如果仅仅是删除内容完全一样重复行  则可以使用sort先进行排序 然后使用 uniq进行删除重复数据即可 例如  CUST.TXT 130000006800,17,151,01,250100 130000006800,17,151,01,250101 1300001077,17,151,01,256600 1300002764,17,151,01,256600 130000276...
linux 排序去重复,如何用grep、sort、sed、uniq等linux工具彻底清除重复行？
weixin_39931923的博客
05-14 756
如何用grep、sort、sed、uniq等linux工具彻底清除重复行？这个问题真的很难写，因为我看不出任何东西能赋予它意义。但这个例子显然是直截了当的。如果我有这样的文件：12234在解析文件之后，删除重复的行，如下所示：^{pr2}$我知道这是我写的一个python脚本。创建一个名为clean_duplicates.py的文件，并将其运行为：import sys## To run it us...
Linux实用技巧——删除重复行
Congying-Wang的博客
12-07 5203
文章目录0. 前言1. sort -u方法2. sort + uniq方法3. sort + awk方法4. sort + sed 方法 Linux实用技巧目录：Linux实用技巧——0_目录 0. 前言 对于删除文件中的重复行，比如处理如下文件 [root@mobius ~]$cat file_test.txt aaa bbbbb ccccc 123 aaaaa 123 bbb aaa 需...
如何快速删除Linux文件中的重复数据行
热门推荐
mmbbz的专栏
02-08 1万+
Linux系统操作中，如果文件中的数据过多，想要删除重复数据行是非常麻烦的，查找不方便，那么有什么方法能够快速删除文件重复数据行呢？下面小编就给大家介绍下如何删除文件重复数据行，一起来看看吧。http://www.xitongzhijia.net/xtjc/20141226/33538.html 　　一、去掉相邻重复的数据行 　　代码如下： 　　$cat data1.txt |
sed 与 awk 处理重复行
龙瑜的博客
11-18 1826
sed与awk处理连续重复行 之前在使用sed修改文件的时候，在指定-i参数的时候忘记了删除调试时制定的p命令，造成了连续重复行的出，便又想着怎样去删除这个重复行，再执行一个sed命令就可以了，不过这里用到了sed的高级功能，使用n命令。 data文件的内容为： aa bb cc 现在我需要将aa替换为test，我执行了如下命令： sed -n 's/aa/test/p' data 我使用-n...
sed找到重复的行
weixin_33918357的博客
09-26 431
sed之仅打印相邻重复的行 cat file  aaa bbb bbb ccc ddd eee eee fff   只显示重复的行: bbb bbb eee eee   sed -n ':a;N;/\(.\+\)\n\1/!D;p' file [解析] 读取下一行，如果两行内容一样的打印，然后跳转命令行尾，不执行 D ，如果没匹配到...
shell 删除文本中的重复行(sort+uniq/awk/sed) (方法=效率啊)
JoeBlackZQQ的专栏
07-17 4242
From: http://churuimin425.blog.163.com/blog/static/341298772012230112956712/ 删除文本中的重复行(sort+uniq/awk/sed) 三种常见方法: 　第一，用sort+uniq，注意，单纯uniq是不行的。 shell> sort -k2n file | uniq >
Linux命令如何删除文件里面的重复行
白夜行
07-04 4724
文本处理时，经常要删除重复行，下面是三种方法 第一，用sort+uniq，注意，单纯uniq是不行的。 sort -n test.txt | uniq 第二，用sort+awk命令，注意，单纯awk同样不行，原因同上。 sort -n $file | awk '{if($0!=line)print; line=$0}' 　   第三，用sort+sed命令，同样需要sort命令先排序
linux多个文件删除重复行,shell中删除文件中重复行的方法
weixin_35717696的博客
04-29 1246
Linux下文本处理工具很丰富很强大，例如这样一个文件：cat logwww.jb51.net 192.168.1.1www.jb51.net 192.168.1.1www.jb51.net 192.168.1.2ffffffffffffffffffffffffffffffffffffeeeeeeeeeeeeeeeeeeeefffffffffffffffffffeeeeeeeeeeeeeeeeee...
Linux删除重复行
weixin_30511107的博客
11-01 676
文本处理时，经常要删除重复行，下面是三种方法 第一，用sort+uniq，注意，单纯uniq是不行的。 sort -n test.txt | uniq 第二，用sort+awk命令，注意，单纯awk同样不行，原因同上。 sort -n $file | awk '{if($0!=line)print; line=$0}' 　 第三，用sort+sed命令，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值