【决策状态机FSM(finite state machine)梳理】

背景：写论文需要，对需要有限状态机部分进行整理。论文内容是关于自动驾驶避撞决策。

参考Junior: The Stanford Entry in the Urban Challenge的有限状态机

• 1. 行为决策
• • 1.1 基于规则的行为决策
  • 1.2 基于强化学习的行为决策
• 2. 有限状态机FSM
• • 2.1 基础知识
  • • 有限状态机四大要素：
    • 有限状态机三集合：
  • 2.2 斯坦福FSM
• 3. Matlab/StateFlow 构建有限状态机模型
• • 需具备的知识
  • • 1. 状态框架
    • 2. 状态动作
    • 3. 状态转移标签
    • 创建一个状态机的步骤：

1. 行为决策

行为决策主要分为两类
1、基于规则的行为决策
2、基于强化学习的行为决策

1.1 基于规则的行为决策

在基于规则的行为决策中，有限状态机法是最经典也是最具有代表性的方法，其具有实用性强、可靠性高和逻辑推理清晰等特点。有限状态机是一种离散的数学模型，用来研究有限个状态以及状态之间的转移。

优点：其具有易于搭建和调整，实时性好，应用简单等

缺点：其难以适应所有情况，需要进行针对性调整，其行为规则库易重叠而失效，有限状态机难以覆盖车辆可能遇到的所有工况而导致决策错误。

1.2 基于强化学习的行为决策

基于强化学习算法的行为决策方法主要是利用各种学习算法来进行决策，利用无人车配备的各种传感器，来感知周边的环境信息，传递给强化学习决策系统，此时强化学习决策系统的作用就相当于人脑，来对各类信息进行分析和处理，并结合经验来对无人驾驶汽车做出行为决策。如自动驾驶汽车公司Waymo 就通过模拟驾驶及道路测试来获取了大量的数据对其基于学习算法的行为决策系统进行训练，使得该系统对物体的检测性能得到了极大地提高，还可以对障碍物进行语义理解等
主要方法有：马尔科夫决策、Q学习算法、神经网络Q学习算法等

优点：其强大的数据训练集，可以减小环境的不确定性因素带来的影响

缺点：需要大量的数据来进行预处理，计算量大，实时性差。

2. 有限状态机FS