PyTorch实战：用DQN算法教AI玩平衡杆游戏（附完整代码）

PyTorch实战：用DQN算法构建AI平衡杆智能体（附完整代码与可视化分析）

1. 项目概述与核心价值

CartPole平衡杆问题是强化学习领域的经典测试环境，它模拟了一个底部装有铰接杆的小车，智能体需要通过左右移动小车来保持杆子竖直。这个看似简单的任务实际上包含了状态感知、动作决策和长期奖励优化等强化学习核心问题。

深度Q网络（DQN）将传统的Q-Learning与深度学习相结合，通过神经网络近似Q值函数，解决了传统方法在连续状态空间下的维度灾难问题。PyTorch的动态计算图和自动微分机制，使得我们可以更直观地构建和调试DQN模型。本项目将实现以下技术亮点：

• 双网络架构：分离的评估网络和目标网络设计，显著提升训练稳定性
• 经验回放机制：打破样本间的时间相关性，提高数据利用率
• ε-greedy策略：平衡探索与利用，避免陷入局部最优
• 实时可视化：训练过程动态展示，直观理解算法收敛过程

import gym
import torch
import random
from collections import deque
import matplotlib.pyplot as plt

class DQNAgent:
    def __init__(self, state_size, action_size):
        self.state_size = state_size
        self.action_size = action_size
        self.memory = deque(maxlen=2000)  # 经验回放缓冲区
        self.gamma = 0.95    # 折扣因子
        self.epsilon = 1.0   # 探索率
        self.epsilon_min = 0.01
        self.epsilon_decay = 0.995
        self.learning_rate = 0.001
        self.model = self._build_model()  # 评估网络
        self.target_model = self._build_model()  # 目标网络

2. 环境解析与状态空间设计

CartPole-v1环境提供了4个维度的状态观测值：