本文主要讲无人驾驶中的决策过程。
文章目录
- 前言
- 一、决策过程的概念
- 1.1 马尔科夫决策过程
- 1.2 策略迭代和价值迭代概念
- 二、逐步更新中
- 2.1 逐步更新中
- 2.2 逐步更新中
- 总结
前言
思考:为什么需要决策过程?
在学习决策过程之前,一直存在一个比较困惑的点,已经有了运动规划的算法无论是采样、搜索还是EM planner算法,已经能够实现自动驾驶了,局部运动规划算法已经能够算是决策和规划耦合在一起了,决策过程要用来做什么呢?
这么思考有个问题,在做运动规划的时候是在几何空间中找一个安全舒适的确定解,并未考虑与其他车辆交互的不确定性,没有想其他车辆的行为对自车的影响,而是按照确定性的法则根据感知信息进行路径规划;比如在左转过程中对面右转的车会抢行还是让你,运动规划算法并不能去考虑这个不确定性,再举个极端的例子,假设有一个车辆在对向车道行驶,如果这个车失控对着自车冲过来,那么自车如果是在自动驾驶,他可能会刹车减速但是没法说规划出一条路径出来,那么如果有决策过程,可能在这种情况下会赶紧变到其他车道躲避。
这张图展示了自车在路口做决策的过程,决策考虑了4种可能性,那么在做这样复杂的决策中需要考虑行人会做什么动作,对向车会做什么动作,就需要把行人、自车、对象车辆的信息都放入状态空间,那么自车每走一步其他交通参与者状态如何转移很难建模(此外其他交通参与者的位置也是具有概率分布的,如何建模它们的分布已经是一个难题&#x