MySQL大批量数据插入，PHP之for不断插入时出现缓慢的解决方案及优化（转载）

转载于 2018-01-31 17:12:33 发布 · 1.9k 阅读

本文通过对比测试展示了在MySQL中使用单条INSERT语句插入多条记录的方法来大幅提升批量插入性能，特别是在使用MyISAM存储引擎时效果更佳。

公司有一个项目，需要频繁的插入数据到MySQL数据库中，设计目标要求能支持平均每秒插入1000条数据以上。目前功能已经实现，不过一做压力测试，发现数据库成为瓶颈，每秒仅能插入100多条数据，远远达不到设计目标。

到MySQL官方网站查了查资料，发现MySQL支持在一条INSERT语句中插入多条记录，格式如下：

INSERT table_name (column1, column2, ..., columnN) 
VALUES (rec1_val1, rec1_val2, ..., rec1_valN), 
(rec2_val1, rec2_val2, ..., rec2_valN), 
... ... 
(recM_val1, recM_val2, ..., recM_valN);

　　按MySQL官方网站，用这种方法一次插入多条数据，速度比一条一条插入要快很多。在一台开发用的笔记本电脑上做了个测试，果然速度惊人。

　　测试环境：DELL Latitude D630， CPU T7250 @ 2.00GHz，内存 2G。Windows XP Pro中文版SP2，MySQL 5.0 for Windows。

　　MySQL是新安装的，建立了一个名为test的数据库，在test数据库建了一个t_integer表，共两个字段：test_id和test_value，两个字段都是INTEGER类型，其中test_id是Primary Key。

　　准备了两个SQL脚本文件（写了个小程序生成的），内容分别如下：

-- test1.sql 
TRUNCATE TABLE t_integer; 
INSERT t_integer (test_id, test_value) 
VALUES (1, 1234), 
(2, 1234), 
(3, 1234), 
(4, 1234), 
(5, 1234), 
(6, 1234), 
... ... 
(9997, 1234), 
(9998, 1234), 
(9999, 1234), 
(10000, 1234);

-- test2.sql 
TRUNCATE TABLE t_integer; 
INSERT t_integer (test_id, test_value) VALUES (1, 1234); 
INSERT t_integer (test_id, test_value) VALUES (2, 1234); 
INSERT t_integer (test_id, test_value) VALUES (3, 1234); 
INSERT t_integer (test_id, test_value) VALUES (4, 1234); 
INSERT t_integer (test_id, test_value) VALUES (5, 1234); 
INSERT t_integer (test_id, test_value) VALUES (6, 1234); 
... ... 
INSERT t_integer (test_id, test_value) VALUES (9997, 1234); 
INSERT t_integer (test_id, test_value) VALUES (9998, 1234); 
INSERT t_integer (test_id, test_value) VALUES (9999, 1234); 
INSERT t_integer (test_id, test_value) VALUES (10000, 1234);

　　以上两个脚本通过mysql命令行运行，分别耗时0.44秒和136.14秒，相差达300倍。

　　基于这个思路，只要将需插入的数据进行合并处理，应该可以轻松达到每秒1000条的设计要求了。

　　补充：以上的测试都是在InnoDB表引擎基础上进行的，而且是AUTOCOMMIT=1，对比下来速度差异非常显著。之后我将t_integer表引擎设置为MyISAM进行测试，test1.sql执行时间为0.11秒，test2.sql为1.64秒。

　　补充2：以上的测试均为单机测试，之后做了跨机器的测试，测试客户端（运行脚本的机器）和服务器是不同机器，服务器是另一台笔记本，比单机测试时配置要好些。做跨机器的测试时，发现不管是InnoDB还是MyISAM，test1.sql速度都在0.4秒左右，而test2.sql在InnoDB时且AUTOCOMMIT=1时要80多秒，而设置为MyISAM时也要20多秒。

　　方法一：用PHP构造一次插入多条，并多次以for插入，像装车一样，一车一车的把sql运过去。

<?php
for($i=0;$i<10;$i++){
mysql_query("insert into table_name (name,age) values ('name1','age1'),('name2','age2'); //一车：i=1，第二车：i=2
}
?>

　　方法二：如果是网络和循环太慢，则建议用C来做这个事情，会提高三倍左右的速度，相对PHP可能会有相当的提升。
　　方法三：用队列来做，分多个进程实现，可能有一定程序的时间上提高，同时要注意binlog的影响及索引的影响。BY：Jack