fputcsv导出数据

原创已于 2022-12-20 10:48:44 修改 · 207 阅读

0 ·

本内容遵循CC 4.0 BY-SA版权协议

标签

#php

于 2022-12-20 10:06:04 首次发布

该博客介绍了如何使用PHP高效地导出大量数据库数据到CSV文件，通过设置内存限制和分批处理来避免一次性加载过多数据导致的问题。示例代码展示了如何连接数据库，设置标题，转换字符编码，并分批写入数据到CSV文件，同时刷新缓冲区以减少内存占用。此方法适用于需要处理大量数据的场景。

<?php
set_time_limit(0);
ini_set('memory_limit', '128M');

$fileName = date('YmdHis', time());
header('Content-Type: application/vnd.ms-execl');
header('Content-Disposition: attachment;filename="' . $fileName . '.csv"');

$begin = microtime(true);

//打开php标准输出流
//以写入追加的方式打开
$fp = fopen('php://output', 'a');

$db = new mysqli('127.0.0.1', 'root', '', 'test');

if($db->connect_error) {
  die('connect error');
}

//我们试着用fputcsv从数据库中导出1百万的数据
//我们每次取1万条数据，分100步来执行
//如果线上环境无法支持一次性读取1万条数据，可把$nums调小，$step相应增大。
$step = 100;
$nums = 10000;

//设置标题
$title = array('ID', '用户名', '用户年龄', '用户描述', '用户手机', '用户QQ', '用户邮箱', '用户地址');
foreach($title as $key => $item) {
  $title[$key] = iconv('UTF-8', 'GBK', $item);
}
//将标题写到标准输出中
fputcsv($fp, $title);

for($s = 1; $s <= $step; ++$s) {
  $start = ($s - 1) * $nums;
  $result = $db->query("SELECT * FROM tb_users ORDER BY id LIMIT {$start},{$nums}");
  
  if($result) {
    while($row = $result->fetch_assoc()) {
      foreach($row as $key => $item) {
        //这里必须转码，不然会乱码
        $row[$key] = iconv('UTF-8', 'GBK', $item);
      }
      fputcsv($fp, $row);
    }
    $result->free();
    
    //每1万条数据就刷新缓冲区
    ob_flush();
    flush();
  }
}

$end = microtime(true);
echo '用时：', $end - $begin;