java8 parallelStream并发处理大数据时出现越界的处理办法

最新推荐文章于 2023-07-05 16:07:30 发布

原创最新推荐文章于 2023-07-05 16:07:30 发布 · 5k 阅读

2 ·

本内容遵循CC 4.0 BY-SA版权协议

标签

#java8 #stream #多线程 #parallelStream #ArrayIndexOutOfBoundsException

java 专栏收录该内容

1 篇文章

订阅专栏

本文探讨了在使用Java8的parallelStream处理大量数据时遇到的ArrayIndexOutOfBoundsException异常，分析了问题根源在于非线程安全的集合使用，并提出了通过调整集合初始化大小来提升性能和确保线程安全的有效解决方案。

近日在使用java8的parallelStream时也掉进了前辈们踩的坑中。概率性的出现java.lang.ArrayIndexOutOfBoundsException

最后写了一个demo

public static void main(String[] args) {
   List<String> list = new ArrayList<>();
   List<String> list2 = new ArrayList<>();
   long index = 100000;
   for(int i=0;i<index;i++){
       list.add("s:"+i);
   }

   try {
       list.parallelStream().forEach(p->list2.add(p+"追加"));

       } catch (Exception e) {
           e.printStackTrace();
       }

   }

结果就真出现了那个问题。当然在结合baidu上的文章得出最终解决方案

问题出现的原因：因为list是非线程安全的集合，参考文章：https://my.oschina.net/7001/blog/1475500
网上的解决办法，使用线程安全的集合，copyOnWriteArrayList 或则 conCurrentHashMap..经过实际的测试。1000W条数据时，JVM崩了。以下是代码

public static void main(String[] args) {
   List<String> list = new ArrayList<>();
   List<String> list2 = new CopyOnWriteArrayList<>();
   long index = 10000000;
   for(int i=0;i<index;i++){
       list.add("s:"+i);
   }

   try {
       list.parallelStream().forEach(p->list2.add(p+"追加"));

       } catch (Exception e) {
           e.printStackTrace();
       }

   }