DokuWiki

Avec J(w), une fonction dérivable de paramètre w (w étant un vector contenant toutes les valeurs des états).

Le gradient de J(w) est défini sous forme matricielle, voir diapo 11

Permet de trouver un minimum local J(w)

Objectif : Trouver le paramètre w qui minimise le carré de l'erreur entre la valeur approximée et la vrai valeur.

Questions :

• Que représente Δw (une valeur, un vector, ...), et à quoi s'en sert-on ?

Ranger dans le vector les n valeurs du même état.

(Linear Value Function Approximation)

• La descente de gradient stochastique converge vers un optimum global.
• Actualisation = step-size * prediction error * feature value

Questions :

• Qu'est ce qu'on appelle une feature ?