SQLITE高速插入数据

最新推荐文章于 2024-07-27 09:21:41 发布

原创

最新推荐文章于 2024-07-27 09:21:41 发布 · 3.2k 阅读

收录于

当前文章被以下社区和专栏收录：

本文探讨了如何通过调整SQLite数据库的写同步选项和使用事务处理来显著提高数据插入速度。通过将synchronous设置为OFF并采用批量插入与事务处理，可以将100000条数据的插入时间从13.8分钟缩短到357毫秒，提升效率达2324倍。此外，解释了不同写同步级别对数据安全性和性能的影响。

SQLITE数据库在写入数据时，写入数据库的速度非常重要，如果写入的速度慢，有大量数据待写入时，一是会造成程序卡顿，二是数据写入会失败，数据缺失。

传统的往数据库里插入数据是执行一条SQL语句，多条数据就是执行多条SQL语句。执行SQL语句意味着打开数据库再关闭数据库，数据库本身是一个文件，打开和关闭IO操作是非常耗时的。

    QSqlQuery query(_mes_db);
    auto start = std::chrono::steady_clock::now();
    for(int i = 0; i < 100000; ++i)
    {
        QString sql = "insert into test_table(log_type,log_level,log_info) values('WARN',1,'test alarm')";
        query.exec(sql);
    }
    auto end = std::chrono::steady_clock::now();
    auto duration = std::chrono::duration_cast<std::chrono::milliseconds>(end - start).count();
    qDebug() << "consuming time=" << duration;