使用【Easypoi】实现百万数据导出

本文使用easypoi实现百万级数据导出


前言

下文实现了通过easypoi实现将百万级数据导出

一、一般情况下导出

一般导出流程(简单导出):

  1. 创建对应的实体类(使用easypoi,easyexcel这种)
  2. 数据库查询对应的数据
  3. 通过API封装方法进行导出

可能导致问题:

如果数据库导出数据量大的情况下
1、数据库查询耗时
2、内存溢出(将所有数据全部查询出来会占用大量内存空间)

二、解决思路

1、数据分页获取
2、迭代式数据导出(通过第一步分页获取的数据分批次去写入excel)

三、实现步骤

注意:以下实现 Mapper就不展示了,就一个普通查询

导入依赖

<dependency>
     <groupId>cn.afterturn</groupId>
     <artifactId>easypoi-web</artifactId>
     <version>4.4.0</version>
 </dependency>

重写方法

重写IExcelExportServer的selectListForExcelExport()方法
1、创建一个自己的类,用于实现IExcelExportServer接口,实现我们自己的分页查询数据方法

@Slf4j
@Service
public class EnExportServiceImpl implements IExcelExportServer {

    @Autowired
    private EnTestMapper enTestMapper;

    /**
     * 实现IEnTestService接口,重写selectListForExcelExport方法,源码中会循环调用该方法去写入
     * @param queryParams;查询入参
     * @param pageNo:当前页
     * @return
     */
    @Override
    public List<Object> selectListForExcelExport(Object queryParams, int pageNo) {
        EnTestSearchFom searchFom = (EnTestSearchFom) queryParams;
        //定义分页条数(每次只查询指定条数,防止内存溢出)
        Page page = new Page(pageNo,100000);
        //使用mybatis-plus分页插件分页,此处就是一个普通分页查询
        IPage<EnTest> iPage = enTestMapper.pageList(page, searchFom);
        List records = iPage.getRecords();
        log.info("当前页:{}",pageNo);
        return records;
    }
}

以上其实最关键的方法已经实现了,后续只需要调用easypoi提供的大数据导出即可。

调用实现

public class ChartsController {
	//我们重写的类
	@Autowired
    private EnExportServiceImpl enExportServiceImpl;

	@GetMapping("/export")
    public void export(HttpServletRequest request, HttpServletResponse response){
        ExportParams exportParams = new ExportParams(null,"测试", ExcelType.XSSF);
        //selectListForExcelExport方法中的Object queryParams参数
        EnTestSearchFom searchFom = new EnTestSearchFom();
        Workbook workbook = ExcelExportUtil.exportBigExcel(exportParams, EnTest.class, enExportServiceImpl, searchFom);
        responseWorkbook(response,workbook,"导出数据.xlsx");
        
    }
	/**
     * 导出 Excel
     *
     * @param response
     * @param workbook
     * @param fileName
     */
    private static void responseWorkbook(HttpServletResponse response, Workbook workbook, String fileName) {
        try {
            response.setHeader("Content-disposition", "attachment;" + "filename*=utf-8''" + URLEncoder.encode(fileName, "UTF-8"));
            response.setContentType("application/octet-stream; charset=UTF-8");
            workbook.write(response.getOutputStream());
            workbook.close();
        } catch (IOException e) {
            throw new RuntimeException(e);
        }
    }

}

结束

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值