Linux上快速压缩与解压缩（zip， tag.gz）

在集群上，我们通常会与很大的model或者data压缩文件打交道。此文整理了在linux集群上实现快速解压缩的技法。

1. tar 文件

Pigz（pigzee）是一个用于压缩和解压缩 .gz 文件的并行实现工具，它能够利用多核处理器来加速基于 gzip 的压缩和解压过程。
参考: 快如闪电：Linux多线程压缩软件pigz

1.1. Pigz 安装

sudo apt-get update
sudo apt-get install pigz

1.2. 压缩

1.2.1. 压缩单个文件为gz

# -k: 保留原始文件File，会在当前工作目录获得压缩后的File.gz 
pigz -k File
# 检查压缩后文件 File.gz 的压缩率
pigz -l File.gz