MongoDB分片部署（windows）

mongodb教程11 分片

MongoDB分片是MongoDB支持的另一种集群形式，它可以满足MongoDB数据量呈爆发式增长的需求。当MongoDB存储海量的数据时，一台机器可能无法满足数据存储的需求，也可能无法提供可接受的读写吞吐量，这时，我们就可以通过在多台机器上对海量数据进行划分（即分片），使得MongoDB 数据库系统能够存储和处理更多的数据。
分片概述

分片概述

分片(Sharding) 技术是开发人员用来提高数据存储和数据读写吞吐量常用的技术之一。简单的来说，分片主要是将数据进行划分后，将它们分别存放于不同机器上的过程。通过使用分片可以实现降低单个机器的压力和处理更大的数据负载功能。分片与副本集主要区别在于，分片是每个节点存储数据的不同片段，而副本集是每个节点存储数据的相同副本。
所有数据库都可以进行手动分片(Manual Sharding)，因此，分片并不是MongoDB特有的。不同类型的数据均可以通过人为操作被分配到不同的数据库服务器上，然而，人工分片是需要编写相关代码来实现分片功能，并且还不容易维护（如集群中节点发生变动的情况）。MongoDB数据库可以实现自动分片，它内置了多种分片逻辑，使得MongoDB可以自动处理分片上数据的分布，也可以很容易的管理分片集群。
由于数据量太大，导致本地磁盘不足以存储的情况；为了提高数据库性能，从而将海量数据存储在内存中，导致单个MongoDB数据库内存不足的情况；若是出现数据请求量太大，导致单MongoDB机器不能满足读写数据的性能情况。若是出现这三种情况，我们就可以使用MongoDB的分片技术来解决。

分片架构

在MongoDB分片集群中，只有各组件间的协同工作，才可使得分片集群正常运行。在学习分片集群的
操作之前，有必要先来学习一下分片集群架构。下面，通过一张图来介绍分片集群架构，具体如图所示

 从图中可以看出，分片集群中主要由三个部分组成，即分片服务器（ Shard ）、路由服务器
（ Mongos ）以及配置服务器（ Config Server ）组成。其中，分片服务器有三个，即 Shard1 、
Shard2 、 Shard3 ；路由服务器有两个，即 Mongos1 和 Mongos2 ；配置服务器有三个，即主、副、副。
主要有如下所述三个主要组件：
Shard: 用于存储实际的数据块，实际生产环境中一个shard server 角色可由几台机器组个一个 replica set 承担，防止主机单点故障
Config Server: mongod实例，存储了整个 ClusterMetadata ，其中包括 chunk 信息。
Query Routers: 前端路由，客户端由此接入，且让整个集群看上去像单一数据库，前端应用可以透明使用。

分片服务器

即MongoDB实例(即mongod,用Shard表示），分片服务器是实际存储数据的组件，持有完整数据集中的一部分，每个分片服务器都可以是一个MongoDB实例，也可是一组MongoDB实例组成的集群 （副本集）。从MongoDB 3.6开始，必须将分片部署为副本集，这样具有更好的容错性。

路由器服务 

即mongos，路由服务器主要提供客户端应用程序与分片集群交互的接口，所有请求都需要通过路由服务器进行协调工作。路由服务器实际上就是一个消息分发请求中心，它负责把客户端应用程序对应的数据请求转发到对应的分片服务器上。应用程序将查询、存储、更新等请求原封不动地发送给路由服务器。路由服务器询问配置服务器操作分片服务器需要获取哪些元数据，然后连接相应的分片服务器进行相关操作，最后将各个分片服务器的响应进行合并，返回给客户端应用程序。
生产环境中，一个分片集群通常会有多个路由服务器，一方面可以解决多个客户端同时请求，从而达到负载均衡的效果；另一方面可以解决当路由服务器宕机时导致整个分片集群无法使用的问题。

配置服务器

即Config Server。在生产环境中，通常需要多个配置服务器，因为它存储了分片集群的元数据，并且这些数据是不允许丢失的。因此，需要配置多个配置服务器以防止数据丢失，尽管其中一台分片服务器宕机，我们还有其它配置服务器，从而保证MongoDB分片集群依然能够正常工作。从MongoDB 3.4版本开始，配置服务器必须部署副本集，因此我们需要配置三个配置服务器组成的副本集。

置三个配置服务器组成的副本集

配置服务器存储着分片集群的持久化元数据，而路由服务器存储着分片集群的非持久化元数据，这些数据均为内存缓存的数 据。当路由服务器初次启动或关闭重启时，就会从配置服务器中加载分片集群的元数据。若是配置服务器的信息发生变化，则会通知所有路由服务器更新自己的状态，这样路由服务器就能继续准确的协调客户端与分片集群的交互工作。

部署分片集群

部署shard 

步骤一：环境准备 

分片	节点（实例）	端口	路径
1	shard11(主)	4006	dbpath:D:\shard1\shard11\data logpath:D:\shard1\shard11\log
	shard12（从）	4007	dbpath:D:\shard1\shard12\data logpath:D:\shard1\shard12\log
2	shard21（主）	4008	dbpath:D:\shard2\shard21\data logpath:D:\shard2\shard21\log
	shard22（从）	4009	dbpath:D:\shard2\shard22\data logpath:D:\shard2\shard22\log

每一个分片都应该安装 MongoDB 实例，需要将 bin 文件复制到每个分片中， 并且创建data 文件以及 log 文件存放数据库数据和日志数据

 

步骤二 启动分片服务（实例）

启动分片集群1（shard11和shard12） 

shard11

 然后进入数据库bin目录中，启动cmd

\bin>mongod --shardsvr --replSet shard1 -port 4006 -dbpath D:\shard1\shard11\data -logpath D:\shard1\shard11\log\shard11.log

 --shardsvr 为分片声明

当命令一直保持运行状态则说明服务运行成功，此服务为一次性服务，不要关闭此窗口，最小化即可。

shard12：

再次进入数据库bin目录中，启动cmd 

bin>mongod --shardsvr --replSet shard1 -port 4007 -dbpath D:\shard1\shard12\data -logpath D:\shard1\shard12\log\shard12.log

启动分片集群2（shard21和shard22）

shard21

\bin>mongod --shardsvr --replSet shard2 -port 4008 -dbpath D:\shard2\shard21\data -logpath D:\shard2\shard21\log\shard21.log

shard22 

\bin>mongod --shardsvr --replSet shard2 -port 4009 -dbpath D:\shard2\shard22\data -logpath D:\shard2\shard22\log\shard22.log

 tips：

电脑版本比较高，所以的 cmd 需要使用管理员身份运行
启动服务均为一次性服务，关闭 cmd 即为关闭服务，所以在未完成前，请勿关闭
实例均未添加至系统环境变量，请在 bin 目录下启动
虽然窗口很多，操作不太友好，但是在 win 系统下，还是多有耐心一点， linux会简单一些

 步骤三：配置分片（shard1和shard2）集群

 进入到shard1集群任何一个节点中

use admin
 
config={_id:"shard1",members:[
... {_id:0,host:"localhost:4006",priority:2},
... {_id:1,host:"localhost:4007",priority:1}
... ]}
 
 
 rs.initiate(config)

进入到shard2集群任何一个节点中

use admin
 
config={_id:"shard2",members:[
... {_id:0,host:"localhost:4008",priority:2},
... {_id:1,host:"localhost:4009",priority:1}
... ]}
 
 
 rs.initiate(config)

 

至此，shard的两个集群配置好了。  

部署config server  

步骤一：环境准备 

值得注意的是：在 MongoDB 3。4 版本后 config 服务必须配置为 副本集，这里设置为一主一从。 

config实例	端口	数据路径	日志路径
config1（主）	4002	D:\config\config1\data	D:\config\config1\log
config2（从）	4003	D:\config\config2\data	D:\config\config2\log

老样子，每个文件夹添加data和log

 

 步骤二：启动config server

启动config1

进入到bin目录中，启动cmd

\bin>mongod --configsvr --replSet confset -port 4002 -dbpath D:\config\config1\data -logpath D:\config\config1\log\conf1.log

--configsvr 这里我们完全可以像启动普通 mongodb 服务一样启动，不需要添加 —shardsvr 和 configsvr 参数。因为这两个参数的作用就是改变启动端口的，所以我们自行指定了端口就可以。 

 启动config2

\bin>mongod --configsvr --replSet confset -port 4003 -dbpath D:\config\config2\data -logpath D:\config\config2\log\conf2.log

 不要关闭 cmd 窗口，最小化即可 ]

步骤三：配置config server集群 

进入任何一个配置服务器的节点初始化配置服务器的群集

 

 use admin
 
 
 config={_id:"confset",configsvr:true,members:[
... {_id:0,host:"localhost:4002"},
... {_id:1,host:"localhost:4003"}
... ]}
 
 
 rs.initiate(config)

  

部署路由服务器 Route Process

可以创建专门的文件夹存放日志 

  

 在进入 数据库 bin 目录中 启动 cmd

 
D:\MongoDB\bin>mongos --configdb confset/localhost:4002,localhost:4003 -logpath D:\mongos\log\mongos.log -port 4000

mongos ： mongos 就是一个路由服务器，它会根据管理员设置的 “ 片键 ” 将数据分摊到自己管理的mongod 集群，数据和片的对应关系以及相应的配置信息保存在 "config 服务器 " 上。  

 配置分片信息 

 bin 目录下使用 MongoDB Shell 登录到 mongos ，添加 Shard 节点

  

mongos> sh.addShard("shard1/localhost:4006,localhost:4007")

 

 

mongos> sh.addShard("shard2/localhost:4008,localhost:4009")

 

 

 测试分片

 登入路由（4000） 端口

指定要分片的数据库

mongos> sh.enableSharding("test")

指定数据库里需要分片的集合和片键，片键根据实际情况选择 

mongos> sh.shardCollection("test.c2",{"id":"hashed"})

上述指令指定分片集合为c2，分片字段为“id”，分片形式是哈希分片，若改成“1”则为范围分片 

如果集合已经包含数据，则必须在分片集合之前创建一个支持分片键的索引，如果集合为空，则

mongodb 将创建索引。

 

 插入10000条数据验证，数据必须包含分片键：id

mongos> for(var i=1;i<=10000;i++){
... db.c2.save({id:i,name:"a"+i});}

查看分片状态 

输入sh.status(）  查看分片集群状态 

 

 

两个shard都有数据分布，说明分片成功！ 

robo 3T查看分片集 

连接两个 shard 端口查看分片情况，若两个shard中的数据不同，则说明分片成功！！ 

 

文章知识点与官方知识档案匹配，可进一步学习相关知识

最后
重新打开mongodb服务，即可像原来一样使用，但是数据存储方式和原来已经不一样了，变成了分布式的分片存储。电脑版本比较高，所以的cmd需要使用管理员身份运行启动服务均为一次性服务，关闭cmd即为关闭服务，所以在未完成前，请勿关闭实例均未添加至系统环境变量，请在bin目录下启动虽然窗口很多，操作不太友好，但是在win系统下，还是多有耐心一点，linux会简单一些，详情看书上。