Differences

This shows you the differences between two versions of the page.

--- memento-intrinsically-motivated-rl [2025/04/16 13:53]
3.15.204.106 old revision restored (2025/02/11 17:23)
+++ memento-intrinsically-motivated-rl [2025/06/07 06:06] (current)
20.171.207.212 old revision restored (2025/04/19 13:04)
@@ Line 1: / Line 1: @@
-=====Memento sur [Singh2005]=====
+=====Mémento sur [Singh2005]=====
    * motivation intrinsèque : action provoquée par la recherche d'une récompense.
@@ Line 17: / Line 17: @@
    * La méthode d'apprentissage intra-option : permet l'actualisation des politiques de plusieurs options pendant que l'agent interagi avec l'environnement.
+<note important>Pourquoi utiliser le QLearning et le MDP au lieu de l'un ou l'autre ?</note>
+L'expérience :
+L'agent à un œil et un bras, il peut activer plusieurs objets qui produisent de la lumière ou du son autour de lui. Certain objets ont des comportements différents en fonction de l'activation ou de la désactivation des autres objets. Les objets n'ont pas la même apparence en fonction de l'éclairage (activation ou non de la lumière).
+Lorsque l'agent interagi pour la première fois avec un objet, une structure permettant d'apprendre et de stocker l'option de l'objet est ajoutée. Au fur et à mesure que l'agent interagi avec l'environnement, les options sont mises à jour.
+Lorsque l'agent rencontre un évènement important, il aura tendance à essayer de le comprendre rapidement. Ceci va conduire à deux effets secondaires :
+   -L'apprentissage va améliorer la politique et l'option-model qui prédit l'évènement
+   -La récompense intrinsèque va diminuer, et l'agent va s'ennuyer de cet évènement (et donc en chercher d'autres)
+Comme le montre la figure 4 (cf document), les évènements simple sont appris en premier. Même si leur récompense diminue, ils continuent d'arriver car ils sont nécessaire à l'apprentissage d'évènements plus complexes.
+Conclusion :
+Un agent qui a une collection de compétences apprises à partir de récompenses intrinsèques peut apprendre un large éventail de tâches récompensées extrinsèquement plus facilement  que si l'agent n'avait pas ces compétences.
+Il serait difficile pour un agent d'apprendre s'il ne possédait que les récompenses extrinsèques.

DokuWiki

Site Tools

Differences

Page Tools