shell命令:大文件的拆分和合并

最新推荐文章于 2026-04-20 02:40:52 发布
原创 最新推荐文章于 2026-04-20 02:40:52 发布 · 1.8k 阅读 · 7 ·
本内容遵循CC 4.0 BY-SA版权协议
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
标签
#linux #ubuntu #centos
本文介绍了如何利用Linux的split命令将一个10GB的大文件分割成多个500MB的小文件，文件名以test.bin.part开始，如test.bin.partaa。之后，可以通过cat命令将这些小文件按正确顺序合并回原始的test.bin文件。执行合并时需确保文件顺序无误，可借助ls命令检查。

可以使用split和cat命令将一个10G的大文件拆分成多个不超过500M的文件，然后将这些文件合并回原来的文件。具体操作如下：

  1. 将大文件拆分成多个小文件
split -b 500M test.bin test.bin.part

上面的命令将test.bin文件拆分成多个不超过500M的文件，命名为test.bin.partaa、test.bin.partab、test.bin.partac等。

  1. 将小文件合并回原来的文件
cat test.bin.part* > test.bin

上面的命令将所有以test.bin.part开头的文件合并成一个名为test.bin的文件。需要注意的是，合并文件时应确保文件顺序正确，可以使用ls命令查看文件列表。

bulucc
关注
shell将文件分割成小块文件
NLP与推荐算法
05-28 741
shell文件分割
shell合并多个文件cat
NLP与推荐算法
03-28 1289
shell合并多个文件cat搞定
Shell—压缩分割解压大文件
u013889591的专栏
07-26 2444
同时压缩和分割大文件或文件夹。
【Shell 命令集合 文件管理】Linux 拆分文件 split命令使用教程
探索C++编程的奥秘，分享深入的技术见解和实践，旨在激发读者创造力与解决问题的思维。
06-24 1万+
split命令是Linux系统中的一个用于拆分文件的命令。它可以将一个大文件拆分成多个小文件，以便于传输、存储或处理。
linux ， Shell 文件合并的命令
猎人在吃肉
12-10 9219
linux 中，使用 Shell 命令将 多个文件合并成一个文件。
Linux 拆分、合并大文件 删除指定前/最后n行
幽灵 逐梦--专栏
08-23 1528
1. 拆分文件 Split [houbu@opentsdb1 temp]$ split --help 用法：split [选项]... [输入 [前缀]] Output fixed-size pieces of INPUT to PREFIXaa, PREFIXab, ...; default size is 1000 lines, and default PREFIX is 'x'. Wi...
HBase Shell 操作：自动拆分和预分区
Junds0的博客
04-24 2877
Compaction 本质上是一个排序合并的操作，合并操作需要占用大量内存，因此文件越大，占用内存越多。Compaction 有可能需要迁移远程数据到本地进行处理，如果需要迁移的数据是大文件的话，带宽资源就会损耗严重。本关任务：在 HBase Shell 中使用预分区命令创建表使用预分区规则为/app/hbase/split.txt文件中的内容，并进入hbase web ui界面将要求的内容复制到本地文件下。本关任务：在 HBase Shell 中使用自动拆分命令将并将查看到的命令结果复制到指定的文件中。
split与cat：Linux大文件分卷传输与无缝合并实战
最新发布
weixin_30430169的博客
04-20 313
本文详细介绍了Linux系统中split与cat命令在大文件分卷传输与无缝合并中的实战应用。通过split命令可将大文件按指定大小拆分，便于传输和存储；使用cat命令则可快速合并分片文件。文章还提供了完整性校验、文件名排序处理及性能优化等实用技巧，帮助用户高效处理大文件传输与合并问题。
shell 脚本命令
草莓要挑籽的博客
05-22 1484
字符集1:指定要转换或删除的原字符集。当执行转换操作时，必须使用参数"字符集2”指定转换的目标宁符集。但执行删除操作时，不需要参数"字符集2"字符集2:指定要转换成的目标宁符集。
shell 拆分文件（按行数、按大小）
dujidan的博客
08-11 7555
shell 拆分文件（按行数、按大小） split -l 10 target.txt split. 会在当前目录生产多个文件，每个文件有10行。 命名方式，如下： split.aa split.ab 拆分文件（按行拆分 -l，按大小拆分 -b ，后面可加单位：b、k、m等) -l 3 表示按行拆分、每3行一个文件 a.txt 要拆分的文件名 spfile. spfile为要拆分的文件名前缀，“ .” 为前缀和后缀的分隔符。 ...
shell合并多个文件内容
dzning123的专栏
04-19 950
ls *.txt | xargs cat >> all_merge.log
【shell】shell字符串分割|文件分割|剪切|截取
热门推荐
我的笔记本
10-08 10万+
目录 一、字符串分割 1、awk分割 2、利用shell 中 变量 的字符串替换成空格分割 3、设置分隔符，通过 IFS 变量 4、利用tr 指令实现字符替换 二、文件分割 附录 【转】linux下awk内置函数的使用(split/substr/length) 四、gsub函数 五、正则表达式 一、字符串分割 1、awk分割 把 ceph_12.2.1.centos.x86_64.tar.gz-2021-10-08-08后面的2021-10-08-08按“-”分割，取最后一个数..
Shell 合并多个文件的列到一个文件中
ibless的博客
09-05 6606
Shell 合并多个文件的列1 需求描述2 解决方案3 综合示例 1 需求描述 需要将多个文件按列进行合并，这样就可以很方便用excel打开进行对比。 2 解决方案 这里所使用的指令主要是paste [-s][-d <间隔字符>]。具体示例如下： 合并多个文件的列，其中一个文件包含多列。 paste file1 file2 3 综合示例 （部分）原始文件内容如下： 要做的事情就是将文件中所有编号CORE编号为1,2,3,4的第3,4,5,6列合并到一个文件中。 #!/bin/bash i
0031. shell命令--split
目前日更2篇中，谢谢关注！
12-07 1925
shell命令--split
shell 将大文件平均分割成指定数量的小文件
qq_43382735的博客
04-14 3391
shell 将大文件平均分割成指定数量的小文件 1.假设有大文件hello.csv,先查看大文件行数 file_rows=wc -l hello.csv|awk '{print 1}' 选取wc命令打印结果的第一列，即行数。 2.假设要平均分割成10个小文件 file_num=10 3.生成总行数 file_num_row=$((${file_rows} + 9)) 解释一下为什么要加9，因为行数可能是33333行，除以10的话每个文件就是3333行，就丢失了3行，所以加上（文件数-1）行可以保证行不
shell脚本对文本文件的切割
qq_55610255的博客
09-10 2546
shell既是脚本语言也是解释器Shell 是一种与操作系统内核进行交互的命令行解释器，它是操作系统的一部分。它为用户提供了一个在计算机上执行命令、运行程序和管理文件系统等功能的界面。Shell 可以是一种脚本语言解释器，也可以是一个交互式的命令行界面。在 Linux、Unix 和类似的操作系统中，Shell 最常用的是 Bash (Bourne Again SHell)。而在 Windows 环境中，常用的是 Command Prompt (cmd.exe) 和 PowerShell。
linux下分割/合并文件
wq3028的博客
06-22 2903
split -b 1024m “file.tar.gz” “file.tar.gz.part-“// Creates files: file.tar.gz.part-aa, file.tar.gz.part-ab, file.tar.gz.part-ac, … 分割文件，每个文件大小是1GB cat file.tar.gz.part-aa file.tar.gz.part-ab f...
【shell】shell字符串分割|文件分割
小鱼菜鸟的博客
10-08 4801
目录 一、字符串分割 1、awk分割 2、利用shell 中 变量 的字符串替换成空格分割 3、设置分隔符，通过 IFS 变量 4、利用tr 指令实现字符替换 二、文件分割 附录 【转】linux下awk内置函数的使用(split/substr/length) 四、gsub函数 五、正则表达式 一、字符串分割 1、awk分割...
SHELL脚本：将shell编程100例分割成100个独立的文件
liunan7080的博客
09-19 680
shell编程100例单个文件分割成100个独立的文件 #!/bin/bash # 将单个文件的shell编程100例分割成100个独立的文件 #文件名取文本里的编号一行的名字加上.sh后缀 IFS.OLD=$IFS #没有必要 IFS=$'\n' linenumber=1 for line in `cat shell编程100例` do if echo $line | egrep -q "^[0-9]+、.*" then filename=`echo ${line} | tr ' /' '_
【Shell 命令集合 文件管理】Linux 将多个文件的内容按列合并 paste命令使用指南
探索C++编程的奥秘，分享深入的技术见解和实践，旨在激发读者创造力与解决问题的思维。
06-24 2368
在Linux中，paste命令用于将多个文件的内容按列合并，并以制表符作为分隔符输出。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值