1 nfs
1.1 部署nfs
爬虫的机器磁盘不是很大,大数据的机器硬盘比较大,下来的文件就不能放在爬虫的机器上,而需要存储在大数据的硬盘上,于是在大磁盘的机器上搭建nfs主节点,爬虫节点的机器将磁盘mount过去就可以,不会占用爬虫机器的磁盘空间。
参考如何运用nfs让客户端轻松使用服务端共享出来的磁盘
Centos7安装配置NFS服务和挂载
# 在所有节点中执行
yum install nfs-utils -y
# 在nfs主节点中执行(nfs 服务器侧),rpcbind 可以不装,因为nfs-utils会将rpcbind 作为依赖包安装。
yum install rpcbind -y
mkdir -p /appdata/nfs-volume
mkdir -p /appdata/nfs-volume/listed_company
chmod 777 /appdata/nfs-volume
# 添加允许访问的网段
vi /etc/exports
/appdata/nfs-volume 10.128.1.0/24(rw,sync,no_root_squash)
# 重载数据
exportfs -rv
# 启动nfs,
service rpcbind start
service nfs start
chkconfig rpcbind on
chkconfig nfs on
# 查看服务目录和权限
showmount -e
# 开放的端口,如果环境存在隔离,注意开放这些接口给对方
# 比如大数据环境,开放给 爬虫机器访问
[root@bg5 ~]# rpcinfo -p
program vers proto port service
100000 4 tcp 111 portmapper
100000 3 tcp 111 portmapper
100000 2 tcp 111 portmapper
100000 4 udp 111 portmapper
100000 3 udp 111 portmapper
100000 2 udp 111 portmapper
100024 1 udp 50049 status
100024 1 tcp 47513 status
100005 1 udp 20048 mountd
100005 1 tcp 20048 mountd
100005 2 udp 20048 mountd
100005 2 tcp 20048 mountd
100005 3 udp 20048 mountd
100005 3 tcp 20048 mountd
100003 3 tcp 2049 nfs
100003 4 tcp 2049 nfs
100227 3 tcp 2049 nfs_acl
100003 3 udp 2049 nfs
100003 4 udp 2049 nfs
100227 3 udp 2049 nfs_acl
100021 1 udp 46957 nlockmgr
100021 3 udp 46957 nlockmgr
100021 4 udp 46957 nlockmgr
100021 1 tcp 43574 nlockmgr
100021 3 tcp 43574 nlockmgr
100021 4 tcp 43574 nlockmgr
firewall-cmd --permanent --add-service=nfs
firewall-cmd --permanent --add-service=mountd
firewall-cmd --permanent --add-service=rpc-bind
firewall-cmd --reload
# nfs 客户端侧,这个95是nfs主节点的机器
mkdir -p /appdata/nfs-volume
[root@sp2 ~]# showmount -e 10.128.2.95
Export list for 10.128.2.95:
/appdata/nfs-volume 10.128.1.0/24
mount -t nfs 10.128.2.95:/appdata/nfs-volume /appdata/nfs-volum


1353

被折叠的 条评论
为什么被折叠?



