解决具有连续动作空间的问题是当前强化学习领域的一个研究热点和难点．在处理这类问题时，传统的强化学习算法通常利用先验信息对连续动作空间进行离散化处理，然后再求解最优策略．然而，在很多实际应用中，由于缺乏用于离散化处理的先验信息，算法效果会变差甚至算法失效．针对这类问题，提出了一种最小二乘行动者一评论家方法(1east square actor—critic algorithm，I。SAC)，使用函数逼近器近似表示值函数及策略，利用最小二乘法在线动态求解近似值函数参数及近似策略参数，以近似值函数作为

解决具有连续动作空间的问题是当前强化学习领域的一个研究热点和难点．在处理这类问题时，传统的强化学习算法通常利用先验信息对连续动作空间进行离散化处理，然后再求解最优策略．然而，在很多实际应用中，由于缺乏用于离散化处理的先验信息，算法效果会变差甚至算法失效．针对这类问题，提出了一种最小二乘行动者一评论家方法(1east square actor—critic algorithm，I。SAC)，使用函数逼近器近似表示值函数及策略，利用最小二乘法在线动态求解近似值函数参数及近似策略参数，以近似值函数作为