37、深度强化学习：从学习跑步到图像增强的实践探索

深度强化学习：从学习跑步到图像增强的实践探索

1. SAC算法训练设置

在训练函数中，我们对SAC算法的共享模块进行如下设置，涵盖网络和优化器：

sac_trainer.soft_q_net1.share_memory()
sac_trainer.soft_q_net2.share_memory()
sac_trainer.target_soft_q_net1.share_memory()
sac_trainer.target_soft_q_net2.share_memory()
sac_trainer.policy_net.share_memory()
ShareParameters(sac_trainer.soft_q_optimizer1)
ShareParameters(sac_trainer.soft_q_optimizer2)
ShareParameters(sac_trainer.policy_optimizer)
ShareParameters(sac_trainer.alpha_optimizer)

这里的 share_memory() 是PyTorch中继承自 nn.Module 的网络固有函数。虽然我们也可以共享熵因子，但此处未做处理。在代码里，Python 3的CUDA子进程采用“forkserver”启动方法：

torch.multiprocessing.set_start_method('forkserver', force=True