数据库分表-继续优化sql数据库性能

如果预计三年后的数据量根本达不到这个级别，请不要在创建表时就分库分表。单表行数超过1000万行或者单表容量超过4GB，才推荐分库分表。

原文：https://blog.csdn.net/exceptionalboy/article/details/78851327 先搬过来，留着以后可能用 需求说明： 将数据库Demo中的表按照日期字段进行水平分区分表。要求数据文件按一年一个文件存储，且分区的分割点会根据时间的增长自动添加（例如现在是2017年1月1日，将其作为一个分割点，即将2017年1月1日之前的数据存储到数据文件A中，将20...

1、为什么要分库分表 1.1 数据库性能瓶颈的出现 对于应用来说，如果数据库性能出现问题： （1）要么是无法获取连接，是因为在高并发的情况下连接数不够了。 （2）要么是操作数据变慢，数据库处理数据的效率出了问题。 （3）要么是存储出现问题，比如单机存储的数据量太大了，存储的问题也可能会导致性能的问题。 归根结底都是受到了硬件的限制，比如 CPU，内存，磁盘，网络等等。但是我们优化肯定不可能直接从扩展硬件入手，因为带来的收益和成本投入比例太低。 所以我们先来分析一下，当我们处理数据出现无法连接，或者变慢的问题

业务背景： 随着业务发展，单表的数据量已达实际应用推荐的极限，继续增加可能会性能瓶颈，考虑到后续业务发展，必须把现有数据按比例拆分到多张分表，这样变相地提高了单表容量。 [img]http://dl2.iteye.com/upload/attachment/0111/0350/4be96cc6-968d-309b-926f-7a6f3546b00f.png[/img] 分表性能关注： 分表...

变更项目的整体架构是性能收益最大的方式。主要涉及两方面，一方面是从整个项目角度，引入一些中间件优化整体性能，另一方面是调整MySQL的部署架构，确保能承载更大的流量访问，提高数据层的整体吞吐。

表结构设计优化 SQL优化 增加缓存层 数据库参数配置优化 大事务优化 分库分表分区 主从复制，读写分离 升级服务器硬件 表结构优化 为什么数据库表的设计会影响性能？ 字段的数据类型：不同的数据类型的存储和检索方式不同，对应的性能也不同，所以说要合理的选用字段的数据类型。比如人的年龄用无符号的unsigned tinyint即可，没必要用integer 数据类型的长度：数据库最终要写到磁盘上，所以字段的长度也会影响着磁盘的I/O操作，如果字段的长度很大，那么读取数据也需要更多的I/

在系统开发的初期以及使用的初期，一般不会太过于在意数据库的设计以及sql语句的优化，这就会导致系统有可能在日积月累的海量数据下越来越慢直至崩溃，所以以后在系统 数据库设计之初完备的数据库模型的设计是必须的。 优化数据库方案 对于数据库的的优化此处给出三种优化方案： 1.优化现有mysql数据库 优点：不影响现有业务，源程序不需要修改代码，成本最低 缺点：有优化瓶颈，数据量过亿就无法继续支撑相应的业务 2.升级数据库类型，换一种100%兼容mysql的数据库 优点：不影响现有业务，源程序不需要修改代码，你几

分库拆表： 好处： 1. 数据库容量问题； 2. 解决性能压力的最优选择； 原则： 反范式数据结构设计，所谓反范式，第一要点是不用外键，不允许Join 操作，不允许任何需要跨越两个表的查询请求；第二要点是适度冗余减少查询请求。   分库方案： 1. 安全性拆分 将高安全性数据与低安全性数据分库，这样的好处第一是便于维护，第二是 高安全性数据的数据库参数配置可以以安全优先，而低安...

读写分离分散了数据库读写操作的压力，但没有分散存储压力，当数据量达到千万甚至上亿条的时候，单台数据库服务器的存储能力会成为系统的瓶颈，主要体现在这几个方面： 数据量太大，读写的性能会下降，即使有索引，索引也会变得很大，性能同样会下降。 数据文件会变得很大，数据库备份和恢复需要耗费很长时间。 数据文件越大，极端情况下丢失数据的风险越高（例如，机房火灾导致数据库主备机都发生故障）。 基于上述原...

但是在查询时，如果不对索引的字段添加查询条件，在进行查询时，会直接默认进行全表查询，不会走字段索引，也不会对查询进行查询性能提升，反而会加大数据库该字段存储的内存，同时也会减慢数据插入的速度（在不添加索引时是0.5秒插入进数据，但是在添加索引后，会增加到1.5秒，大数据量的情况下）当数据量达到一定程度时，需考虑进行分表处理，如原本的数据量有5000w，但是该数据量存储到一张表中时，在对该表进行查询以及数据插入时，会对该表有着过大的压力，导致检索和插入数据的性能降低。

Django ORM没有提供默认的分表功能，给访问分表的数据库带来的不变。那么Django分表怎么实现呢？

​ 数据库分库分表是一种数据库架构设计方法，用于处理大规模数据集的存储和管理。在分库分表策略中，大型数据库被拆分成多个小型数据库（分库），每个小型数据库中的表被拆分成多个子表（分表），以降低单一数据库的数据量和提高数据库性能和可伸缩性。

高性能数据库集群：分库分表 01 | 导读 1、读写分离分散了数据库读写操作的压力，但是没有分散存储压力。 2、数据量达到千万甚至上亿条时，单台数据库服务器的存储能力会成为系统的瓶颈，主要体现在： 1）数据量太大，读写的性能会下降，即使有索引，索引也会变得很大，性能同样会下降。 2）数据文件变大，备份和恢复需要耗费很长时间。 3）数据文件越大，丢失数据的风险越高。 3、常见的分散存储的方法“分库分表”，其中包括“分库”和“分表”两大类。 02 | 业务分库 1、业务分库指的是按照业务模块将数据分散到不同

如果遇到数据库问题，建议不要着急分库分表。原则是：能不分库分表就不要做。先看下能否通过常规优化手段解决问题。如上所述，引入分库分表虽然可以解决数据库瓶颈问题，但是也给系统带来巨大的复杂性，不是非必须不要使用。设计系统我们一向要本着高可拓展去设计，但是不要过度设计和超前设计。适合当前系统的设计才是最好的。

一、关系型数据库在项目中通常会遇到哪些问题或者说是瓶颈呢？？ 这里简单的举例如下： 高并发读写操作数据库，比如我们的双十一购物场景 --> 解决：集群、分布式 海量数据的高效率读写 ，比如在一张包含海量数据的表中查询，插入速度会很慢（ex：淘宝，京东等商城项目中的商品表） --> 解决：分表，分库 高扩展性和可用性 在基于web的结构（即浏览器/服务器）当中，数...

读写分离 适用于写少读多的场景（博客、朋友圈等，单机并发无法支撑且读请求更多的情形），可以将访问压力分散到集群中的多个节点（但没有分散存储压力） 架构 主从复制（一主一从，一主多从），主负责写，从负责读； 问题 数据复制延迟（1秒到1分钟都有可能） 即数据写入到主服务器后，立刻通过从服务器进行读取，此时主机可能还没有将数据复制到从机（1秒内或大数据量数据同步），导致读取从机时读取不...