2017年10月30日 · In this work, we propose adverserial inverse reinforcement learning (AIRL), a practical and scalable inverse reinforcement learning algorithm based on an adversarial reward learning formulation.

总的来说，AIRL这个算法，几个关键点是：采用对抗学习的框架，且并不是应用于整条轨迹进行学习的，而是单个的状态，除此之外，关键是能够解决动态的环境问题，也就是说当环境发生动态改变的时候，AIRL仍然有一定的鲁棒性，提前剧透一下，这是通过把奖励做成了一个state-only来实现的。 作者使用了蚂蚁机器人的环境来测试了这个效果，作者先是从四条完整腿的蚂蚁学习到了效果，然后再把蚂蚁的两条前腿缩短，GAIL在这种情况下就躺平了，但是AIRL依旧坚挺。 我们 …

2020年6月15日 · 本文探讨了AIRL算法，一种基于对抗性奖励学习的IRL方法，旨在从专家演示中恢复对环境动力学变化鲁棒的奖励函数。 通过理论分析和实验验证，展示了AIRL如何提取解耦奖励，并在高维连续控制任务中保持高效性和可扩展性。 摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 > 这篇是以2016 NIPS的GAIL以及2016 ICML的GCL（在之前的Paper中精读过）为基础进行对比，提出一种针对dynamics change鲁棒的reward function recovery方法AIRL …

一言以蔽之， Inverse RL（下文简称IRL）跟Behaviour Cloning（下文简称BC）的主要区别在于： 【1】 前者在用专家数据学reward function，然后借助这个reward function来以 强化学习 的方式训练policy. 【2】后者是直接对专家数据做 监督学习 来训练policy. 对于BC来说，因为训练和测试阶段的数据分布存在 covariate shift，导致 compounding error 越来越大（如图1所示）， 以至于严重影响算法对于未知数据的预测 [1,2]，这一点在专家数据集规模较小的时候尤其常见。

比较出名的工作就是最大熵IRL（MaxEnt IRL）。 这个工作最早是 Ziebart 在2008年时候的工作《Maximum Entropy Inverse Reinforcement Learning》，提出用最大熵的原则来解决这个ambiguous的问题。

3 天之前 · To this extent, adversarial IRL (AIRL) emerges as a scalable and useful IRL framework that employs reward learning in an adversarial setting. AIRL can learn reward functions that are resilient to changes in dynamics and, therefore, are suitable for learning policies even when there is a lot of variation in the training environment (Fu et al., 2017).

Lecture中第二部分介绍了两种较为经典的IRL算法，第一种是feature matching+maximum margin方法，第二种是maximum entropy IRL的方法。 最经典的方法是feature matching的方法，该方法的思路是将reward function用线性函数表达： r_ {\psi} (\textbf s, \textbf a)=\sum_ {i}\psi_i f_i (\textbf s, \textbf a)=\psi^T \textbf f (\textbf s, \textbf a) \\ 这里的 \textbf f 是从专家数据中获取 …

2022年3月21日 · 逆强化学习（Inverse Reinforcement Learning，简称IRL）是强化学习（Reinforcement Learning，简称RL）的一个子领域，它的目标是从专家的行为中学习策略。 在传统的 强化学习 中，智能体通过 与 环境交互，根据奖励信号来学习一个策略。

Implements selected inverse reinforcement learning (IRL) algorithms as part of COMP3710, supervised by Dr Mayank Daswani and Dr Marcus Hutter. My final report is available here and describes the implemented algorithms.

We think of the expert as try-ing to maximize a reward function that is ex-pressible as a linear combination of known features, and give an algorithm for learning the task demonstrated by the expert. Our al-gorithm is based on using \inverse reinforce-ment learning" to try to recover the unknown reward function.