2022年7月24日 · Hierarchical Reinforcement Learning 分层强化学习 (HRL) 将长期强化学习任务分解为子问题或子任务的层次结构，以便更高级别的策略通过选择最佳子任务作为更高级别的操作来学习执行任务。 子任务本身可能是一个强化学习问题，需要通过较低级别的策略学习来解决它。 这种策略层次共同决定了agent的行为。 Task decomposition effectively reduces the original task’s long horizon into a shorter horizon in terms of the sequences of subtasks.

2024年12月5日 · 分层强化学习 （Hierarchical Reinforcement Learning， HRL）是一类旨在通过引入多层次结构来提高强化学习算法效率的方法。 其核心思想是将复杂的任务分解为若干子任务，通过解决这些子任务来最终完成整体目标。

分层强化学习（Hierarchical Reinforcement Learning, HRL） 是一种强化学习方法，它将复杂任务分解为更易处理的子任务，通过层次结构来简化学习过程。 HRL 的主要目标是应对长时间跨度和稀疏奖励的问题，并通过多层次的决策方式来提高学习效率。 各个分层算法通过不同的方法进行任务分解、策略优化和样本高效利用，使得 HRL 适用于复杂、高维度和连续空间的任务。 在 HRL 中，任务通常分解为多个层次，每个层次专注于特定的子任务或策略： 高层策略：负责全局规 …

2020年11月25日 · HIRO的全称是HIerarchical Reinforcement learning with Off-policy correction，本文关注off-policy下high/low level non-stationary的问题，off-policy本来就十分不稳定，很多算法采用很多技术才减弱了不稳定性，除此之外在HRL下也有它特有的不稳定性，就是上下层策略的不稳定性，HAC中是 ...

通过不同层次策略的有效协调和任务分解，HRL 算法能够在长时间跨度、稀疏奖励和高维环境中实现高效的学习。 随着算法的不断发展，HRL 正在逐渐成为复杂任务解决中的重要工具，为机器人控制、自动驾驶、策略游戏等领域提供了强大的技术支持。

2024年12月2日 · HRL-LS的核心思想是引入隐空间来表征复杂任务的潜在结构。 通过将高维的状态空间投射到低维的隐空间中，算法可以简化复杂任务的表示，并在不同的抽象层次上进行策略学习。

hierarchical rl主要问题是解决sparse reward的，hrl的解决方法是塑造一个分层的算法，分解成subgoal，然后逐个实现。 在第一篇文章中，主要提出的是分层rl的基本思想，构建了分层的dqn。

仍然是temporal abstraction based HRL domain中的工作，文章核心关注的两个点是：multi-level 和 simultaneous learning： 1）Deep HRL市面上的方法，架构上或者实际上，一般多为2-level hierarchy. 2）许多HRL方法面临着multi-level policy 同时训练时non-stationary的问题，通常一次只训练一个level，或者说low-level进行pre-train；

2024年2月1日 · In this article, we propose a novel HRL algorithm, high-level model approximation (HLMA), presenting both theoretical foundations and practical implementations. In HLMA, a Planner constructs an innovative high-level dynamic model to predict the k -step transition of the Controller in a subtask.

2021年6月5日 · We provide a survey of the diverse HRL approaches concerning the challenges of learning hierarchical policies, subtask discovery, transfer learning, and multi-agent learning using HRL.