Differences

This shows you the differences between two versions of the page.

--- memento-value-function-approximation [2025/07/16 01:15]
47.128.121.241 old revision restored (2025/04/12 09:36)
+++ memento-value-function-approximation [2025/07/19 18:40] (current)
216.73.216.28 old revision restored (2025/07/17 18:27)
@@ Line 8: / Line 8: @@
    * Fourier
    * ...
-Définitions :
-   * Off-policy : Actualisation des valeurs à partir de l'état suivant et de l'action "gloutonne".
-   * On-policy : Actualisation des valeurs à partir de l'état suivant et l'action de la politique courante.
-===Algorithme du gradient===
-Avec J(w), une fonction dérivable de paramètre w (w étant un vector contenant toutes les valeurs des états).
-Le gradient de J(w) est défini sous forme matricielle, [[http://www0.cs.ucl.ac.uk/staff/D.Silver/web/Teaching_files/FA.pdf | voir diapo 11]]
-Permet de trouver un minimum local J(w)
-Objectif : Trouver le paramètre w qui minimise le carré de l'erreur entre la valeur approximée et la vrai valeur.
-Questions :
-   * Que représente Δw (une valeur, un vector, ...), et à quoi s'en sert-on ?
-===Représentation d'un état dans un vector===
-Ranger dans le vector les n valeurs du même état.
-===Fonction approximation de valeur linéaire===
-(Linear Value Function Approximation)
-   * La descente de gradient stochastique converge vers un optimum global.
-   * Actualisation = step-size * prediction error * feature value
-Questions :
-   * Qu'est ce qu'on appelle une feature ?
-===Least Squares Prediction===
-Algorithme qui trouve le paramètre w qui minimise la somme des carrés des erreurs entre la fonction approximation et la la valeur cible.
-===Stochastic Gradient Descent with Experience Replay===
-Expérience donnée sous la forme de pair <Etat, Valeur>.
-(Voir diapo 37 pour plus de détails)
-===Experience Replay in Deep Q-Network===
-   * DQN utilisent l'experience replay.
-   * Choix d'action en fonction d'une politique gloutonne.
-   * Sauvegarde les transitions en replay memomry
-   * Optimise le MSE (mean squarred error) entre les cibles du QNetwork et du QLearning
-   * Utilise une variante de la descente de gradient stochastique

DokuWiki

Site Tools

Differences

Page Tools