因此，本文提出了一种分层框架—— hierarchical-DQN（h-DQN），其中上层的价值函数学习 内在（intrinsic）的任务策略，而下层的价值函数则负责直接学习完成原始任务所需要的 动作策略。 不同于 option-critic，h-DQN的分层是通过 任务（goal） 来划分的，因此该结构属于 基于子任务（subgoal） 的学习。 关于option-critic的介绍，请看另一篇笔记. 相对于option-critic而言，h-DQN基本上没有在理论上提出很大的创新，它更多的在于提出了一种分层的方法，并将该方 …

hDQN Replication of the first experiment of Hierarchical Deep Reinforcement Learning: Integrating Temporal Abstraction and Intrinsic Motivation (Kulkarni et al., 2016) (view here ). Download the report here .

2019年2月19日 · 分层深度Q网络（Hierarchical Deep Q-Network, HDQN）算法详解与Python实现

这里的h-DQN是一种hierarchical deep reinforcement learning方法。 Kulkarni, Tejas D., et al. "Hierarchical deep reinforcement learning: Integrating temporal abstraction and intrinsic motivation." Advances in neural information processing systems. 2016. 有一类比较困难的强化学习问题，其环境反馈是sparse和delayed的。 这里的解决方法是构造一个两个层级的算法。

2016年4月20日 · We present hierarchical-DQN (h-DQN), a framework to integrate hierarchical value functions, operating at different temporal scales, with intrinsically motivated deep reinforcement learning.

2024年10月9日 · Hierarchical-DQN (Hierarchical Deep Q-Network) 是一种 分层强化学习算法，专门设计用于解决复杂的任务，通过将任务分解为层次化的子任务来学习。 它结合了深度 Q 网络（DQN）和分层强化学习的思想，将复杂任务分解为多个具有不同时间尺度的子任务。 Hierarchical-DQN 的设计思路和 FeUdal Networks 类似，都是通过层次结构来解决长时间跨度的任务，但 Hierarchical-DQN 的具体实现有所不同，尤其在策略的选择和值函数的更新方面。 1. …

2017年7月14日 · We evaluate our Lenient-DQN (LDQN) empirically against the related Hysteretic-DQN (HDQN) algorithm [22] as well as a modified version we call scheduled-HDQN, that uses average reward learning near terminal states.

相较而言，goal的含义就要具体得多，每篇论文都赋予了goal不同的语义信息：UVFA、HER与HAC中目标就是实现较好的状态；HDQN中的目标是根据游戏任务人为设计的；FeUdal中目标是隐层特征空间中有利的转移方向；HIRO中目标是状态空间中有利的转移方向。

2025年1月3日 · 分层深度Q网络（Hierarchical Deep Q-Network, HDQN）通过引入层次化的Q网络结构，将复杂任务分解为多个子任务，从而提高了算法的效率和可扩展性。 本文将详细介绍HDQN算法的核心概念，并使用Python实现该算法。

Only Q-learning and h-DQN for StochasticMDPEnv are implemented. https://github.com/EthanMacdonald/h-DQN: Another implementation of hierarchical-DQN paper, which I copied the StochasticMDPEnv from.