矿山环境复杂、空间狭小、视觉环境差，并且存在部分易燃、易爆、易腐蚀等危险品，存在人工危险性大、巡检精确度不稳定和巡检效率低等问题。随着煤炭行业的智能化水平逐渐提高，巡检机器人采用耐腐蚀表面材料，可以在高温恶劣环境中保持良好工作状态，完成漏液检测、温度检测、有毒气体检测等巡检工作^[1]。在巡检工作中，巡检机器人采集实时数据，将数据发送到智能运维平台，发现异常数据后发送警报信号。同时，巡检机器人还可以对数据先进行预处理，方便工作人员做出更科学的决策。

在巡检工作中，合理安全的路径规划对机器人至关重要。然而，由于工作人员走动、其他智能设备移动等，矿山环境动态随机变化，对巡检机器人的路径规划和动态避障提出了挑战。目前，移动机器人的传统路径规划方法有人工势场方法^[2-3]、快速探索随机树算法^[4]（Rapidly-exploring Random Trees，RRT）和A*算法^[5-6]等。然而，人工势场方法缺乏全局地图信息，不适用于全局路径规划；RRT算法需要庞大的搜索空间，路径规划的效率不高；A*算法在静态全局规划中很有效，但是不适用于动态随机的矿山环境。为了解决动态路径规划问题，有学者提出基于蚁群算法^[7-8]、遗传算法^[9]、粒子群算法^[10]等启发式算法的路径规划方法。启发式算法可以根据部分信息进行自学习，但是容易陷入局部最优，而且收敛速度较慢。强化学习可以实时与环境交互，根据环境变化调整路径，已被广泛应用于机器人路径规划。文献[11]为了克服维度诅咒和降低历史数据关联性，避免陷入局部最优解，提出了一种重放回机制DQN（Deep Q-Network，深度Q网络）算法。但是使用一个策略采集完整轨迹的方差较大，学习效率较低。因此，提出一种结合策略梯度和时序差分学习的强化学习路径规划方法。

巡检机器人的能量非常重要，可以保障更长时间的工作。为了提高路径规划效率和提高机器人的工作时间，采用面向目标的转向角控制方法，并利用Actor-Critic算法选择巡检速度，根据动态随机的移动障碍物，以能量消耗最小化为目标规划巡检路线，实现机器人的无碰撞自主导航，在确保路线安全、合理的基础上，进一步降低巡检机器人的能量消耗。

1.   研究方法

矿山环境复杂多变，导致复杂多样的连续状态，传统离散化状态的方法不可取。为了在连续状态下产生合理高效的巡检路径，采用Actor-Critic深度强化学习算法。Actor-Critic算法包括策略网络和价值网络，可以进行单步更新，学习效率高。同时，为了解决传统深度Q-learning算法的过估计问题，考虑双策略网络和双价值网络，分别称为目标策略网络和目标价值网络，结构分别与策略网络和价值网络相同。

价值网络的Q值用$ Q\left( {s,a\left| {{w}} \right.} \right) $近似，策略网络的参数化策略用$ v\left( {s,a\left| {{\theta }} \right.} \right) $近似，其中：w、θ分别为表示价值网络和策略网络的参数，分别构成相应神经网络中激活函数的连接权值和偏差。为了减小样本之间的相关性，采用经验池存放历史样本。在每次训练中，从经验池中随机选择小批量的样本$ {\varPhi _{\mathrm{b}}} $更新策略网络的参数$ {{\theta }} $，更新公式为：

式中：$ \alpha $为学习率；$ s $为矿山巡检环境的状态；$ a $为巡检机器人采取的动作；$ a' $为下一时隙机器人采取的动作。

价值网络的参数更新表达式为：

式中：$ \xi = R_{ss'}^a + C_{ss'}^a + \gamma Q\left( {s,v\left( {s,a\left| {{{\theta }}'} \right.} \right)\left| {{{w}}'} \right.} \right) $；$ R_{ss'}^a $为在状态$ s $采取动作$ a $后转移到状态$ s' $的奖赏；$ C_{ss'}^a $为在状态$ s $采取动作$ a $后转移到状态$ s' $的惩罚；$ \gamma $为奖赏折扣因子。

目标策略网络参数$ {{\theta }}' $和目标价值网络参数$ {{w}}' $更新公式为：

式中：$ \eta $为远小于1的正值，保证算法稳定收敛。

2.   路径规划方法

2.1   巡检机器人坐标优化问题转化

在煤矿作业场景中，巡检机器人的巡检区域较大，直接应用强化学习优化巡检机器人的下一时隙坐标时，动作空间很大，导致学习效率比较低，路径规划的精度和效率难以权衡。当已知巡检机器人当前时隙坐标$ {{q}}\left( t \right) $和行进方向$ \varphi \left( t \right) $，以及下一时隙的转向角$ \Delta \left( {t + 1} \right) $和速度$ v\left( {t + 1} \right) $确定时，巡检机器人的行进方向和坐标可以更新为：

式中：$ x\left( t \right) $为时隙$ t $巡检机器人的横坐标；$ y\left( t \right) $为时隙$ t $巡检机器人的纵坐标；$ \tau $为单个时隙的时长。

因此，巡检机器人的路径规划问题可看作马尔科夫过程，利用强化学习求解。首先根据巡检机器人的定位信息和巡检目标的位置信息，在机器人最大转向角约束和碰撞避免约束下计算巡检机器人每时隙的转向角，调整行进方向，然后利用Actor -Critic算法优化巡检机器人的速度。当机器人转向角和速度确定时，可以进一步计算巡检机器人各个时隙的坐标，进而得到巡检路线。

2.2   面向目标的转向角控制方法

巡检机器人配置感知模块和定位模块，可以感知周围环境信息和确定位置信息。当巡检机器人未感知到障碍物时，其决策模块根据自身坐标和巡检目标坐标计算转向角$\Delta \left( t \right) $为：

式中：$ {\varphi _{\mathrm{r}}}\left( t \right) $为时隙$ t $时巡检机器人与巡检目标相对于$ x $正半轴的角度；$ {\varphi _{\max }} $为巡检机器人的最大转向角。

面向目标的避障转向角控制方法示意图如图1所示。

图  1  面向目标的避障转向角控制方法示意图

Figure  1.  Diagram of target oriented obstacle avoidance steering angle control method

下载: 全尺寸图片 幻灯片

当巡检机器人感知到障碍物时，巡检机器人在障碍物边界上以最大感知角度和感知距离探测障碍物的边界点，并分别计算障碍物边界点B和C、巡检机器人A和巡检目标D的相对角度。根据正弦定理，选择相对角度最小的障碍物边界点作为行进目标，使行驶路径更短，从而最小化能量消耗。然后，巡检机器人根据其当前坐标和行进目标的坐标计算下一时隙的转向角。同时，根据Actor-Critic算法输出的速度行驶。在每时隙，巡检机器人感知更新障碍物的边界点，直至与障碍物之间的距离大于安全距离。

采用面向目标的转向角控制方法，巡检机器人将在避开障碍物的同时向巡检目标行进，从而大大提高轨迹规划的效率。

2.3   路径规划方法

在各个时隙初始确定巡检机器人的转向角后，采用Actor-Critic算法优化巡检机器人的速度。考虑速度约束、避障约束和巡检时间约束，巡检机器人的路径规划问题是带约束的马尔科夫决策过程，用元组$ \left\langle {S,A,R,C,T} \right\rangle $定义，其中：$ S $为状态集；$ A $为动作空间；$ R $、$ C $分别为即时奖赏和惩罚；$ T $为状态转移函数。

各个参数定义为：

1）状态。包括机器人的行进方向和坐标、机器人与障碍物的距离、机器人与基地的距离。

2）动作。机器人的速度。

3）奖赏。设置为机器人的能量消耗。

4）惩罚。当机器人与障碍物的距离小于安全距离，机器人与基地的距离大于剩余时间所能行驶的最大距离，给予1个很大的惩罚。

5）转移函数。机器人在状态$ s $执行动作$ a $后转移到状态$ s' $的概率。在本文，状态转移函数是未知的，所以采用Actor -Critic算法训练机器人。

基于转向角控制方法和Actor -Critic算法的路径规划训练框架如图2所示。

图  2  基于Actor-Critic算法的路径规划训练框架

Figure  2.  Path planning training framework based on Actor-Critic algorithm

下载: 全尺寸图片 幻灯片

巡检机器人首先根据矿山巡检环境的状态$ s $，采用$ \varepsilon $贪婪算法选择动作$ a $。巡检机器人根据转向角调整行进方向并且执行动作$ a $，矿山巡检环境反馈奖赏和惩罚并转移到下一状态$ s' $。然后，将$ \left( {s,a,R,C,s'} \right) $作为1个样本存储在经验池中。每次训练时，从经验池中随机抽取部分样本更新策略网络的参数。另外，每隔$ \mu $个训练步骤，更新目标策略网络和目标价值网络的参数。

当算法收敛时，策略网络输出最优动作，使累积奖赏最小化，此时获得速度优化选择策略。根据不同的巡检环境，巡检机器人采用速度优化策略选择最优的速度，具有很好的迁移性。

3.   系统性能分析

为了验证基于Actor-Critic算法的巡检机器人路径规划方法的可行性和合理性，在Intel Xeon Gold 6226R CPU、256 RAM和NVIDIA Tesla P100-PCIE-16 GB GPU系统上使用Pytorch进行仿真实验。仿真中考虑1个长度为20 km、宽度为10 km的长方形巡检区域，区域中存在5个巡检目标、1个静态障碍物和1个动态障碍物。巡检机器人的最大转向角为20^o，最大速度为20 m/s。巡检机器人从基地出发，要求在1 000个时隙内完成巡检，避免与其他障碍物发生碰撞，并返回基地。

在相同环境和参数条件下，巡检机器人的转向角选择都采用面向目标的转向角控制方法，各个时隙的速度分别利用Actor-Critic算法和DQN算法训练，完成轨迹规划。所提路径规划方法的收敛性如图3所示，所提路径规划方法的成功概率如图4所示，巡检机器人路径规划结果如图5所示，巡检机器人的速度和转向角如图6所示。

图  3  所提路径规划方法的收敛性

Figure  3.  Convergence of the proposed path planning method

下载: 全尺寸图片 幻灯片

图  4  所提路径规划方法的成功概率

Figure  4.  Success probability of the proposed path planning method

下载: 全尺寸图片 幻灯片

图  5  巡检机器人路径规划结果

Figure  5.  The path planning result of patrol robot

下载: 全尺寸图片 幻灯片

图  6  巡检机器人的速度和转向角

Figure  6.  The velocity and steering angle of patrol robot

下载: 全尺寸图片 幻灯片

由图3可知，基于Actor-Critic算法和DQN算法的路径规划都可以收敛，由于巡检机器人在每个状态下都存在一定的概率选择1个随机动作进行探索，所以2种算法的能量消耗值是波动的。由于DQN算法容易陷入局部最优，因此DQN算法的能量消耗高于Actor-Critic算法。

对于每1个训练轮次中，如果巡检机器人能够在规定时间完成所有煤矿设备的检查，并且不发生碰撞地返回基地，则此轮次巡检成功。某一轮次的成功概率表示为当前成功总轮次数与当前总轮次数的比值。由图4可以看出：Actor-Critic算法的巡检成功概率可以达到98%。与DQN算法相比，Actor-Critic算法具有更高的成功概率，因为DQN算法采用1个深度学习网络，巡检机器人易陷入局部最优速度，无法在规定时间完成巡检作业，导致较低的成功概率和较高的能量消耗。因此，所提方法的路径寻优效率更高，能够更好地满足煤矿巡检作业要求。

图5中：红色圆表示静态障碍物，红色长方形表示动态障碍物，绿色圆表示可检测距离，蓝色圆表示安全距离。由图5可以看出：巡检机器人从基地出发，以巡检目标为行进方向，在探测到障碍物后改变转向角；巡检机器人可以在避开障碍物的同时向巡检目标行驶，完成所有目标设备的巡检作业，并返回基地。

由图6可以看出：机器人在600时隙内完成巡检作业，小于所要求的1 000个时隙；另外，机器人会尽量采用恒定的速度行驶，以减小能量消耗。所提路径规划方法不仅可以提高深度学习算法的学习效率，而且可以以更短的路径完成巡检作业，节省能量消耗。

4.   结　语

1）针对巡检任务区域大，路径规划精度和效率难以权衡的问题，提出了1种面向巡检目标和基于Actor-Critic算法的巡检机器人路径规划方法。该方法以巡检目标为行进方向，根据环境位置信息计算机器人的转向角，可以加快路径规划过程。Actor-Critic算法可以解决单深度学习网络的低估问题，设计安全可行的巡检路线，降低巡检机器人的能量消耗。

2）仿真结果表明，提出的路径规划算法能够实现合理可行的巡检路径规划，并且具有较高的作业成功概率和较低的巡检能量消耗，可以大幅提高煤矿巡检工作的效率。此训练模型可以很方便地迁移到不同的作业环境。