Hadoop是使用Java语言开发的,但是有一些需求和操作并不适合使用java,所以就引入了本地库(Native Libraries)的概念,通过本地库,Hadoop可以更加高效地执行某一些操作。
目前在Hadoop中,本地库应用在文件的压缩上面:
zlib
gzip
在使用这两种压缩方式的时候,Hadoop默认会从$HADOOP_HOME/lib/native/Linux-*目录中加载本地库。
如果加载成功,输出为:
DEBUG util.NativeCodeLoader - Trying to load the custom-built native-hadoop library...
INFO util.NativeCodeLoader - Loaded the native-hadoop library
如果加载失败,输出为:
INFO util.NativeCodeLoader - Unable to load native-hadoop library for your platform...
using builtin-java classes where applicable
在Hadoop的配置文件 core-site.xml 中可以设置是否使用本地库:
<property>
<name>hadoop.native.lib</name>
<value>true</value>
<description>Should native hadoop libraries, if present, be used.</description>
</property>
Hadoop默认的配置为启用本地库
另外,可以在环境变量中设置使用本地库的位置:
export JAVA_LIBRARY_PATH=/path/to/hadoop-native-libs
有的时候也会发现Hadoop自带的本地库无法使用,这种情况下就需要自己去编译本地库了。在$HADOOP_HOME目录下,使用如下命令即可:
ant compile-native
编译完成后,可以在$HADOOP_HOME/build/native目录下找到相应的文件,然后指定文件的路径或者移动编译好的文件到默认目录下即可。
本文详细介绍了Hadoop中本地库的应用,特别是在文件压缩上的作用,包括zlib和gzip的使用。探讨了本地库的加载机制,配置方法及自定义编译流程。
介绍&spm=1001.2101.3001.5002&articleId=102344447&d=1&t=3&u=5b69d2828a554e0baf70ddb8eed6d156)
1万+

被折叠的 条评论
为什么被折叠?



