Snappy Java API简介

Snappy是由Google开源的压缩/解压缩库,以其高速压缩/解压缩能力著称。本文介绍Snappy Java API的使用方法,包括对byte[], String, double[]等数据类型的压缩和解压缩操作,并展示了如何通过SnappyOutputStream和SnappyInputStream处理文件流。

Snappy是Google开源的压缩/解压缩库。和其他压缩库相比,snappy的压缩率并不是最高的,兼容性也并非最好的。相反,它的诞生旨在以极高的压缩/解压缩速率提供合理的压缩率。Snappy官指出:在64位单核core-i7处理器下,snappy的压缩率能够达到250MB/S,而解压缩速度则能达到500MB/S。目前很多软件使用(或支持)snappy作为压缩库,如MongoDB,Cassandra,Hadoop,Lucene…本文简单介绍snappy Java Api的使用。

Snappy提供了很多高级API以方便对byte[],Sting,double[]等进行压缩和解压缩,示例代码如下:

import org.xerial.snappy.Snappy;
String input = "Hello snappy-java! Snappy-java is a JNI-based wrapper of Snappy, a fast compresser/decompresser.";
{ 
    byte[] compressed = Snappy.compress(input.getBytes("UTF-8"));
    byte[] uncompressed = Snappy.uncompress(compressed);
    String result = new String(uncompressed, "UTF-8");
    System.out.println(result);
}

{
    byte[] compressed = Snappy.compress(input);
    System.out.println(Snappy.uncompressString(compressed));
}

{
    double [] arr = new double[]{123.456,234.567,345.678};
    byte[] compressed = Snappy.compress(arr);
    double [] unarr = Snappy.uncompressDoubleArray(compressed);
    System.out.println(Arrays.toString(unarr));
}

同时Snappy仍然保留着低级API,用于最小化内存的拷贝,例如

/*
*inputAddr:待压缩数据的内存地址
*inputSize:待压缩数据的byte size
*destAddr:压缩结果的保存地址
*return:返回压缩后数据的大小
*/
public static long rawCompress(long inputAddr,long inputSize, long destAddr)throws java.io.IOException;
/*
*inputAddr:待解压缩数据的内存地址
*inputSize:待解压缩数据的byte size
*destAddr:解压缩结果的保存地址
*return:返回解压缩后数据的大小
*/
public static long rawUncompress(long inputAddr,long inputSize,long destAddr)throws java.io.IOException;

基于输入/输出流的Snappy解压缩
SnappyOutputStream和SnappyInputStream分别用于流数据的压缩/解压缩。此外,从snappy v1.1.0开始提供了Framing-format(帧格式)输入输出流的压缩/解压缩的方法:SnappyFramedOutputStreamSnappyFramedInputStream。需要注意的是以SnappyOutputStream压缩的数据不能以SnappyFramedInputStream方法解开,反之亦然。下面以SnappyOutputStreamSnappyInputStream为例介绍。
SnappyOutputStream继承自java.io OutputStream,重写了常用的的write,close,flush:

File file = new File("..."); //待压缩文件
File out = new File("./", file.getName() + ".snappy"); //压缩结果文件

byte[] buffer = new byte[1024 * 1024 * 8];
FileInputStream  fi = null;
FileOutputStream fo = null;
SnappyOutputStream sout = null;
try
{
    fi = new FileInputStream(file); 
    fo = new FileOutputStream(out);
    sout = new SnappyOutputStream(fo);
    while(true)
    {
        int count = fi.read(buffer, 0, buffer.length);
        if(count == -1) { break; }
        sout.write(buffer, 0, count);
    }
    sout.flush();
}
catch(Throwable ex)
{
    ex.printStackTrace();
}
finally 
{
    if(sout != null) {try { sout.close();} catch (Exception e) {}}
    if(fi != null) { try { fi.close(); } catch(Exception x) {} }
    if(fo != null) { try { fo.close(); } catch(Exception x) {} }
}

SnappyInputStream 继承自java.io InputStream,重写了常用的read,close方法等

File file = new File("xxx"); //待解压文件
File out = new File("xxx");  //解压后文件

byte[] buffer = new byte[1024 * 1024 * 8];
FileInputStream  fi = null;
FileOutputStream fo = null;
SnappyInputStream sin = null;
try
{
    fo = new FileOutputStream(out);
    fi = new FileInputStream(file.getPath());
    sin = new SnappyInputStream(fi);        

    while(true)
    {
        int count = sin.read(buffer, 0, buffer.length);
        if(count == -1) { break; }
        fo.write(buffer, 0, count);
    }
    fo.flush();
}
catch(Throwable ex)
{
    ex.printStackTrace();
}
finally 
{
    if(sin != null) { try { sin.close(); } catch(Exception x) {} }
    if(fi != null) { try { fi.close(); } catch(Exception x) {} }
    if(fo != null) { try { fo.close(); } catch(Exception x) {} }
}

注:下文中的 *** 代表文件名中的组件名称。 # 含: 中文-英文对照文档:【***-javadoc-API文档-中文(简体)-英语-对照版.zip】 jar下载地址:【***.jar下载地址(官方地址+国内镜像地址).txt】 Maven依赖:【***.jar Maven依赖信息(可用于项目pom.xml).txt】 Gradle依赖:【***.jar Gradle依赖信息(可用于项目build.gradle).txt】 源代码下载地址:【***-sources.jar下载地址(官方地址+国内镜像地址).txt】 # 本文件关键字: 中文-英文对照文档,中英对照文档,java,jar,Maven,第三方jar,组件,开源组件,第三方组件,Gradle,中文API文档,手册,开发手册,使用手册,参考手册 # 使用方法: 解压 【***.jar中文文档.zip】,再解压其中的 【***-javadoc-API文档-中文(简体)版.zip】,双击 【index.html】 文件,即可用浏览器打开、进行查看。 # 特殊说明: ·本文档为人性化翻译,精心制作,请放心使用。 ·本文档为双语同时展示,一行原文、一行译文,可逐行对照,避免了原文/译文来回切换的麻烦; ·有原文可参照,不再担心翻译偏差误导; ·边学技术、边学英语。 ·只翻译了该翻译的内容,如:注释、说明、描述、用法讲解 等; ·不该翻译的内容保持原样,如:类名、方法名、名、类型、关键字、代码 等。 # 温馨提示: (1)为了防止解压后路径太长导致浏览器无法打开,推荐在解压时选择“解压到当前文件夹”(放心,自带文件夹,文件不会散落一地); (2)有时,一套Java组件会有多个jar,所以在下载前,请仔细阅读本篇描述,以确保这就是你需要的文件;
评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值