深度强化学习研究笔记（2）——Q-learning（Q-learning问题描述，Q-table方法，一个Python小例子）

1. Q-learning问题描述

Q-learning是一种典型的基于价值（Value）函数的强化学习方法，其中的Q是一个数值（可以理解为价值value），通常在初始化时有可能被赋予一个任意数值（因问题场景而异），在迭代时刻$t$，我们有状态$s_t$，此时代理做出动作$a_t$，然后得到奖励$r_t$，从而进入到一个更新的状态$s_{t+1}$，从而Q值得到更新，其更新公式为：

$$Q\left(s_t,a_t\right)\leftarrow \left(1-\alpha \right)\cdot \underset{\text{old}\text{value}}{\underbrace{Q\left(s_t,a_t\right)}}+\underset{\text{learnig}\text{rate}}{\underbrace{\alpha }}\cdot \left(\underset{\text{reward}}{\underbrace{r_t}}+\underset{\text{discount}\text{factor}}{\underbrace{\gamma }}\cdot \underset{\text{estimate}\text{of}\text{optimal}\text{future}\text{value}}{\underbrace{\underset{a}{\max }Q\left(s_{t+1},a\right)}}\right)$$