大量数据分批处理，大List拆分分割为多个小List

最新推荐文章于 2024-04-28 16:48:44 发布

原创最新推荐文章于 2024-04-28 16:48:44 发布 · 8.6k 阅读

15 ·

本内容遵循CC 4.0 BY-SA版权协议

Java语言专栏收录该内容

20 篇文章

订阅专栏

本文介绍了在处理大量数据时，为避免对数据库造成过大压力，将大List分批拆分为小List的策略。通过这种方式，可以有效地分步操作数据，提高系统性能。

在生产中经常会遇到大批量数据操作，如果直接大批量的数据对数据直接操作，则可能造成数据库执行时间过长，造成数据库压力过大。这里采用大批量数据分割成一块块小的数据，再对数据操作的方式来解决这种问题，也是我们常见的一种方式。虽然比较简单，但是网上给出的解决方案，不尽如人意。下面上我的代码

import java.util.ArrayList;
import java.util.List;

/**
 * 大list拆分为多个小list处理
 * @param <T>
 */
public class ListSplitUtil<T extends Object> {
    /**
     *
     * @param list 要拆分的list
     * @param size 每次拆分的大小
     * @param <T>
     * @return
     */
    public static<T> List<List<T>> split(List<T> list, int size){
        if(list==null || list.size()==0){
            return null;
        }
        // 获得数据总量
        int count = list.size();
        // 计算出要分成几个批次
        int pageCount = (count / size) + (count % size == 0 ? 0 : 1);
        List<List<T>> temp = new ArrayList<>(pageCount);
        for (int i = 0, from = 0,to = 0; i < pageCount; i++) {
            from = i*size;
            to = from+size;
            // 如果超过总数量，则取到最后一个数的位置
            to = to>count?count:to;
            // 对list 进行拆分
            List<T> list1 = list.subList(from, to);
            // 将拆分后的list放入大List返回
            temp.add(list1);
            // 也可以改造本方法，直接在此处做操作
        }
        return temp;
    }
   
    // 测试方法
    public static void main(String[] args) {
       List<Integer> list = new ArrayList<>();
        for (int i = 0; i < 52; i++) {
            list.add(i);
        }
        List<List<Integer>> split = split(list, 10);
        for (int i = 0,length = split.size(); i < length; i++) {
            System.out.println(split.get(i));
        }
    }
}