使用ThreadPoolExecutor自定义线程池

本文深入探讨Java线程池的工作原理及其实现细节,包括线程池的主要组件、构造函数参数的意义、线程池的使用规则及状态变化等内容。

线程池(Thread Pool)是一种基于池化思想管理线程的工具。可以想象成把一些线程放到一个“池子”中,统一管理。
Java封装了一些线程池给开发者使用

1、Executors.newSingleThreadExecutor()  创建只有一个线程的线程池
2、Executors.newFixedThreadPool(int nThreads)  创建具有指定数量线程数的线程池
3、Executors.newCachedThreadPool()   创建一个线程池,线程池中的线程空闲时间超过60秒就销毁线程
4、Executors.newScheduledThreadPool(2)  创建有定时功能的线程池

使用Executors.newFixedThreadPool(int nThreads) 简单演示线程池的使用。

    public static void main(String[] args) throws Exception{
        // 创建线程池
        ExecutorService es = Executors.newFixedThreadPool(2);
        for (int i = 0; i < 5; i++) {
            es.execute(() -> {
                System.out.println(Thread.currentThread().getName()+" 线程运行");
            });
        }
        // 关闭线程池
        es.shutdown();
    }

Executors.newSingleThreadExecutor() 、Executors.newFixedThreadPool(int nThreads) 、Executors.newCachedThreadPool()、Executors.newScheduledThreadPool(int nThreads)都是使用ThreadPoolExecutor创建线程池。本文重点讲解ThreadPoolExecutor。ThreadPoolExecutor有4个构造函数,我们用参数最多的构造函数讲解。

ThreadPoolExecutor构造函数

ThreadPoolExecutor(int corePoolSize,
    int maximumPoolSize,
    long keepAliveTime,
    TimeUnit unit,
    BlockingQueue<Runnable> workQueue,
    ThreadFactory threadFactory,
    RejectedExecutionHandler handler)

corePoolSize

保留在池中的线程数,即使线程处于空闲状态,也会在池中保留corePoolSize个线程。

maximumPoolSize

池中允许的最大线程数。

对于CPU密集型应用,最大线程数应等于CPU核心数。

对于I/O密集型应用,绝大部分的web后端服务属于I/O密集型应用,最大线程数有两个计算公式。

1、最大线程数 = CPU期望利用率 * CPU核心数 * (1 + 线程平均等待时间 / 线程平均工作时间)

2、最大线程数 = CPU期望利用率 * CPU核心数 / (1-阻塞系数)。由于 阻塞系数 = 阻塞时间 /(阻塞时间+计算时间),1和2其实是同一个公式,只是写法不同。

使用Runtime.getRuntime().availableProcessors(); 可得到ava虚拟机可用的CPU核心数量。至于线程平均等待时间、线程平均工作时间,每个应用不同,无法给出具体值。

/**
 * I/O密集型应用,最大线程数量
 */
private static int ioMaximumPoolSize() {
	// CPU期望利用率设置为100%,尽量利用CPU
	int cpuUsePercent = 1;

	// Java虚拟机可用的CPU核心数量
	int jvmAvailableProcessors = Runtime.getRuntime().availableProcessors();

	// 假设线程平均等待时间和线程平均工作时间的比值是8
	int blockTime = 8;
	int runTime = 1;

	int ioMaxCore = cpuUsePercent * jvmAvailableProcessors * (1 + blockTime/runTime);
	return ioMaxCore;
}

keepAliveTime

池中线程数超过了corePoolSize,这些超出的线程在keepAliveTime时间内不被使用,则这些线程会被销毁。

unit

keepAliveTime的时间单位。

workQueue

阻塞队列BlockingQueue<Runnable>,由于是队列,所以具备先进先出的特性(FIFO)。当队列满了,往队列加元素会阻塞;队列为空,从队列取元素会造成阻塞。此接口的常用的实现类有两个LinkedBlockingQueue和ArrayBlockingQueue。

ArrayBlockingQueue和LinkedBlockingQueue主要有以下区别:

1、ArrayBlockingQueue基于数组实现,是有界队列,即创建ArrayBlockingQueue必须指定队列容量。LinkedBlockingQueue基于链表实现,创建LinkedBlockingQueue时可以指定队列容量也可以不指定队列容量,不指定队列容量时,队列容量是Integer.MAX_VALUE。
2、ArrayBlockingQueue使用一个锁控制入队出队。LinkedBlockingQueue使用两个锁控制入队出队,一个putLock,一个takeLock。
3、根据官方描述链表队列通常比基于数组的队列具有更高的吞吐量,但在大多数并发应用程序中,性能的可预测性较差。

threadFactory

创建线程的工厂。不指定线程工厂时,默认使用Executors.defaultThreadFactory()创建线程工厂。

handler

当任务超过maximumPoolSize + workQueue之和,任务提交给handler处理,Java提供了4种handler。

ThreadPoolExecutor.AbortPolicy:丢弃任务并抛出RejectedExecutionException异常。默认策略。
ThreadPoolExecutor.DiscardPolicy:也是丢弃任务,但是不抛出异常。
ThreadPoolExecutor.DiscardOldestPolicy:丢弃队列最前面的任务,然后重新尝试执行任务(重复此过程)。
ThreadPoolExecutor.CallerRunsPolicy:由调用线程处理该任务。

下面是一个线程池工具类

/**
 * 线程池工具
 */
public final class ThreadUtil {
	private static final Logger LOGGER = LoggerFactory.getLogger(ThreadUtil.class);
	private static ThreadPoolExecutor executor = null;
	private ThreadUtil() {}

	static{
		initExecutor();
	}

	/**
	 * 初始化
	 */
	private static void initExecutor(){
		// 核心线程数
		int  corePoolSize = Runtime.getRuntime().availableProcessors();
		corePoolSize = corePoolSize < 2 ? 2 : corePoolSize;

		// 最大线程数
		int maximumPoolSize = ioMaximumPoolSize();
		maximumPoolSize = maximumPoolSize < corePoolSize ? corePoolSize : maximumPoolSize;

		LOGGER.info("初始化线程池 corePoolSize:{} , maximumPoolSize:{}" , corePoolSize , maximumPoolSize);

		ThreadFactory defaultThreadFactory = Executors.defaultThreadFactory();

		executor = new ThreadPoolExecutor(corePoolSize , maximumPoolSize ,
				60L, TimeUnit.SECONDS,
				new LinkedBlockingQueue<Runnable>(10000),
				defaultThreadFactory,
				new CustomAbortPolicy());
	}


	/**
	 * I/O密集型应用,最大线程数量
	 */
	private static int ioMaximumPoolSize() {
		// CPU期望利用率设置为100%,尽量利用CPU
		int cpuUsePercent = 1;

		// Java虚拟机可用的CPU核心数量
		int jvmAvailableProcessors = Runtime.getRuntime().availableProcessors();

		// 假设线程平均等待时间和线程平均工作时间的比值是8
		int blockTime = 8;
		int runTime = 1;

		int ioMaxCore = cpuUsePercent * jvmAvailableProcessors * (1 + blockTime/runTime);
		return ioMaxCore;
	}

	/**
	 * 自定义线程池饱和策略,模仿AbortPolicy(终止线程策略)
	 *
	 * A handler for rejected tasks that throws a
	 * {@code RejectedExecutionException}.
	 */
	public static class CustomAbortPolicy implements RejectedExecutionHandler {
		/**
		 * Creates an {@code AbortPolicy}.
		 */
		public CustomAbortPolicy() { }

		/**
		 * Always throws RejectedExecutionException.
		 *
		 * @param r the runnable task requested to be executed
		 * @param e the executor attempting to execute this task
		 * @throws RejectedExecutionException always
		 */
		@Override
		public void rejectedExecution(Runnable r, ThreadPoolExecutor e) {

			// 模仿ThreadPoolExecutor.AbortPolicy的写法,仅是修改了这行代码,并加了个注释
			String msg = String.format("线程池任务满了,抛出异常。\nTask: %s 。\nRejected from: %s",r.toString(), e.toString());
			LOGGER.error(msg);
			// 发送邮件或者发送钉钉消息

			throw new RejectedExecutionException("Task " + r.toString() +
					" rejected from " +
					e.toString());
		}
	}

	/**
	 * 在公共线程池中执行任务
	 *
	 * @param runnable 可运行对象
	 */
	public static void execute(Runnable runnable) {
		executor.execute(runnable);
	}
}

线程池添加线程的规则

为了更好的讲解线程池新建线程的规则,暂时把corePoolSize、maximumPoolSize、keepAliveTime、LinkedBlockingQueue的容量改小。

executor = new ThreadPoolExecutor(2 , 4 ,
                10L, TimeUnit.SECONDS,
                new LinkedBlockingQueue<Runnable>(3),
                defaultThreadFactory,
                new CustomAbortPolicy());

1、线程池创建成功,但没运行任务,线程池中线程数为0。

在ThreadUtil类中添加main函数测试

	public static void main(String[] args) throws Exception{
		System.out.println("线程池创建成功,但没运行任务:"+executor);
	}

打印结果:

线程池创建成功,但没运行任务:java.util.concurrent.ThreadPoolExecutor@3fa77460[Running, pool size = 0, active threads = 0, queued tasks = 0, completed tasks = 0]

2、线程池运行任务,新建线程,活跃线程数大于核心线程数时,将任务添加到队列中。

	public static void main(String[] args) throws Exception{
        for (int i = 0; i < 4; i++) {
            // 睡眠,让任务一个接一个地提交
            TimeUnit.MILLISECONDS.sleep(10);
            execute(() -> {
                try {
                    // 睡眠,避免任务过早结束
                    TimeUnit.MILLISECONDS.sleep(200);
                }catch (InterruptedException e){
                    e.printStackTrace();
                }
            });
            System.out.println("线程池信息:"+executor);
        }

        TimeUnit.SECONDS.sleep(12);
        System.out.println("任务运行完毕后:"+executor);
	}

打印结果:

线程池信息:java.util.concurrent.ThreadPoolExecutor@75a1cd57[Running, pool size = 1, active threads = 1, queued tasks = 0, completed tasks = 0]
线程池信息:java.util.concurrent.ThreadPoolExecutor@75a1cd57[Running, pool size = 2, active threads = 2, queued tasks = 0, completed tasks = 0]
线程池信息:java.util.concurrent.ThreadPoolExecutor@75a1cd57[Running, pool size = 2, active threads = 2, queued tasks = 1, completed tasks = 0]
线程池信息:java.util.concurrent.ThreadPoolExecutor@75a1cd57[Running, pool size = 2, active threads = 2, queued tasks = 2, completed tasks = 0]
任务运行完毕后:java.util.concurrent.ThreadPoolExecutor@75a1cd57[Running, pool size = 2, active threads = 0, queued tasks = 0, completed tasks = 4]

3、线程池正在运行的任务大于核心线程数与队列容量之和,继续创建线程,直到线程数达到最大线程数。达到最大线程数后,线程空闲时间超过keepAliveTime,超出的线程终止,最后保留corePoolSize个活跃线程。

	public static void main(String[] args) throws Exception{
        for (int i = 0; i < 7; i++) {
            // 睡眠,让任务一个接一个地提交
            TimeUnit.MILLISECONDS.sleep(10);
            execute(() -> {
                try {
                    // 睡眠,避免任务过早结束
                    TimeUnit.MILLISECONDS.sleep(200);
                }catch (InterruptedException e){
                    e.printStackTrace();
                }
            });
            System.out.println("线程池信息:"+executor);
        }

        TimeUnit.SECONDS.sleep(5);
        System.out.println("任务运行完毕后:"+executor);

        TimeUnit.SECONDS.sleep(12);
        System.out.println("超过线程空闲时间没提交新任务:"+executor);
	}

打印结果:

线程池信息:java.util.concurrent.ThreadPoolExecutor@75a1cd57[Running, pool size = 1, active threads = 1, queued tasks = 0, completed tasks = 0]
线程池信息:java.util.concurrent.ThreadPoolExecutor@75a1cd57[Running, pool size = 2, active threads = 2, queued tasks = 0, completed tasks = 0]
线程池信息:java.util.concurrent.ThreadPoolExecutor@75a1cd57[Running, pool size = 2, active threads = 2, queued tasks = 1, completed tasks = 0]
线程池信息:java.util.concurrent.ThreadPoolExecutor@75a1cd57[Running, pool size = 2, active threads = 2, queued tasks = 2, completed tasks = 0]
线程池信息:java.util.concurrent.ThreadPoolExecutor@75a1cd57[Running, pool size = 2, active threads = 2, queued tasks = 3, completed tasks = 0]
线程池信息:java.util.concurrent.ThreadPoolExecutor@75a1cd57[Running, pool size = 3, active threads = 3, queued tasks = 3, completed tasks = 0]
线程池信息:java.util.concurrent.ThreadPoolExecutor@75a1cd57[Running, pool size = 4, active threads = 4, queued tasks = 3, completed tasks = 0]
任务运行完毕后:java.util.concurrent.ThreadPoolExecutor@75a1cd57[Running, pool size = 4, active threads = 0, queued tasks = 0, completed tasks = 7]
超过线程空闲时间没提交新任务:java.util.concurrent.ThreadPoolExecutor@75a1cd57[Running, pool size = 2, active threads = 0, queued tasks = 0, completed tasks = 7]

4、线程池正在运行的任务数大于最大线程数+队列容量之和,超出的任务由线程池饱和策略处理。线程池的线程抛出异常后,仅仅是线程被终止了,但线程池中的其他线程还能继续使用。

	public static void main(String[] args) throws Exception{
        for (int i = 0; i < 8; i++) {
            // 睡眠,让任务一个接一个地提交
            TimeUnit.MILLISECONDS.sleep(10);
            try {
                execute(() -> {
                    try {
                        // 睡眠,避免任务过早结束
                        TimeUnit.MILLISECONDS.sleep(200);
                    }catch (InterruptedException e){
                        e.printStackTrace();
                    }
                });
            }catch (Exception e){
                // 捕获线程池抛出的异常,以便本线程能继续执行后面的代码
                e.printStackTrace();
            }
            System.out.println("线程池信息:"+executor);
        }

        TimeUnit.SECONDS.sleep(5);
        System.out.println("任务运行完毕后:"+executor);

        TimeUnit.SECONDS.sleep(12);
        System.out.println("超过线程空闲时间没提交新任务:"+executor);

        // 再次使用线程运行任务
        executor.execute(() -> {
            System.out.println("线程池的线程抛出异常后,仅仅是线程被终止了,但线程池中的其他线程还能继续使用");
        });
	}

打印结果:

线程池信息:java.util.concurrent.ThreadPoolExecutor@75a1cd57[Running, pool size = 1, active threads = 1, queued tasks = 0, completed tasks = 0]
线程池信息:java.util.concurrent.ThreadPoolExecutor@75a1cd57[Running, pool size = 2, active threads = 2, queued tasks = 0, completed tasks = 0]
线程池信息:java.util.concurrent.ThreadPoolExecutor@75a1cd57[Running, pool size = 2, active threads = 2, queued tasks = 1, completed tasks = 0]
线程池信息:java.util.concurrent.ThreadPoolExecutor@75a1cd57[Running, pool size = 2, active threads = 2, queued tasks = 2, completed tasks = 0]
线程池信息:java.util.concurrent.ThreadPoolExecutor@75a1cd57[Running, pool size = 2, active threads = 2, queued tasks = 3, completed tasks = 0]
线程池信息:java.util.concurrent.ThreadPoolExecutor@75a1cd57[Running, pool size = 3, active threads = 3, queued tasks = 3, completed tasks = 0]
线程池信息:java.util.concurrent.ThreadPoolExecutor@75a1cd57[Running, pool size = 4, active threads = 4, queued tasks = 3, completed tasks = 0]
11:26:55.130 [main] ERROR com.example.bingfa02.ThreadUtil - 线程池任务满了,抛出异常。
Task: com.example.bingfa02.ThreadUtil$$Lambda$1/231685785@6504e3b2 。
Rejected from: java.util.concurrent.ThreadPoolExecutor@75a1cd57[Running, pool size = 4, active threads = 4, queued tasks = 3, completed tasks = 0]
线程池信息:java.util.concurrent.ThreadPoolExecutor@75a1cd57[Running, pool size = 4, active threads = 4, queued tasks = 3, completed tasks = 0]
java.util.concurrent.RejectedExecutionException: Task com.example.bingfa02.ThreadUtil$$Lambda$1/231685785@6504e3b2 rejected from java.util.concurrent.ThreadPoolExecutor@75a1cd57[Running, pool size = 4, active threads = 4, queued tasks = 3, completed tasks = 0]
    at com.example.bingfa02.ThreadUtil$CustomAbortPolicy.rejectedExecution(ThreadUtil.java:91)
    at java.util.concurrent.ThreadPoolExecutor.reject(ThreadPoolExecutor.java:830)
    at java.util.concurrent.ThreadPoolExecutor.execute(ThreadPoolExecutor.java:1379)
    at com.example.bingfa02.ThreadUtil.execute(ThreadUtil.java:101)
    at com.example.bingfa02.ThreadUtil.main(ThreadUtil.java:109)
任务运行完毕后:java.util.concurrent.ThreadPoolExecutor@75a1cd57[Running, pool size = 4, active threads = 0, queued tasks = 0, completed tasks = 7]
超过线程空闲时间没提交新任务:java.util.concurrent.ThreadPoolExecutor@75a1cd57[Running, pool size = 2, active threads = 0, queued tasks = 0, completed tasks = 7]
线程池的线程抛出异常后,仅仅是线程被终止了,但线程池中的其他线程还能继续使用

线程池的状态

1、执行shutdown()方法后,不再接收新任务,队列中的任务会被执行完毕。

	public static void main(String[] args) throws Exception{
        for (int i = 0; i < 7; i++) {
            // 睡眠,让任务一个接一个地提交
            TimeUnit.MILLISECONDS.sleep(10);
            execute(() -> {
                try {
                    // 睡眠,避免任务过早结束
                    TimeUnit.MILLISECONDS.sleep(200);
                }catch (InterruptedException e){
                    e.printStackTrace();
                }
            });
            //System.out.println("线程池信息:"+executor);
        }

        TimeUnit.MILLISECONDS.sleep(80);
        System.out.println("关闭线程池之前:"+executor);

        executor.shutdown();
        System.out.println("执行shutdown(),等待队列任务执行完毕:"+executor);

        try {
            executor.execute(() -> System.out.println("关闭线程池后提交任务,会抛出异常"));
        }catch (Exception e){
            e.printStackTrace();
        }

        TimeUnit.MILLISECONDS.sleep(2000);
        System.out.println("所有任务运行完毕:"+executor);
	}

2、执行shutdownNow()方法,不再接受新任务,丢弃队列的任务,中断正在执行的任务。

	public static void main(String[] args) throws Exception{
	    Integer a = null;
        for (int i = 0; i < 7; i++) {
            execute(() -> {
                Integer b = a;
                /**
                 * 任务的run()方法没有响应中断的代码,执行shutdownNow()也无法立刻停止线程,要等run()方法运行结束。
                 * 每个计算机的性能不同,可动态修改j的大小。
                 *
                 * 线程的状态和中断可以查看这两篇博客
                 * https://blog.csdn.net/u010606397/article/details/103891954
                 * https://blog.csdn.net/u010606397/article/details/109090806
                 */
                for (int j = 0; j < 10000000; j++) {
                    b = new Random().nextInt();
                }
                System.out.println("当前线程中断状态:"+Thread.currentThread().isInterrupted());
            });

        }

        System.out.println("关闭线程池之前:"+executor);

        executor.shutdownNow();
        System.out.println("执行shutdownNow():"+executor);

        try {
            executor.execute(() -> System.out.println("关闭线程池后提交任务,会抛出异常"));
        }catch (Exception e){
            e.printStackTrace();
        }
	}

使用无界队列导致OutOfMemoryError

线程池的阻塞队列使用了无界队列时,有内存溢出风险。下面模拟内存溢出的场景。

1、阻塞队列使用无界队列new LinkedBlockingQueue<Runnable>()

        executor = new ThreadPoolExecutor(2 , 4 ,
                10L, TimeUnit.SECONDS,
                new LinkedBlockingQueue<Runnable>(),
                defaultThreadFactory,
                new CustomAbortPolicy());

2、将jvm内存设置得小一点 -Xms20m -Xmx20m

3、循环执行execute方法,将任务加到无界队列中

	public static void main(String[] args) throws Exception{
	    Integer a = null;
	    // 循环执行execute方法,将大量任务加入无界队列中,造成内存溢出
        for (int i = 0; i < 10000000; i++) {
            execute(() -> {
                Integer b = a;
				try {
					// 睡眠保持线程不退出
					TimeUnit.SECONDS.sleep(60);
				} catch (InterruptedException e) {
					e.printStackTrace();
				}
				b = new Random().nextInt();
            });
        }
        
	}

4、运行一段时候后抛出OutOfMemoryError异常

需要注意的是,Executors.newSingleThreadExecutor() 、Executors.newFixedThreadPool(int nThreads) 源码中也使用无界队列new LinkedBlockingQueue<Runnable>()实现,有OutOfMemoryError风险。Executors.newCachedThreadPool()、Executors.newScheduledThreadPool(int nThreads)的最大线程数是Integer.MAX_VALUE,有可能因短时间内创建大量线程而导致OutOfMemoryError。最好是自己定义一个线程池,不用Java提供的,毕竟业务场景有千千万万种,Java设计者也无法给出一个完美的解决方案。

 

 

 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值