DokuWiki

<h2>Environnement grille fonctionnant avec plusieurs agents (testé avec un QLearning)</h2>
<div class="level2">

</div>

<h3>Environnement</h3>
<div class="level3">

<p>
La grille fonctionne sur le même principe que la dernière fois, les cases vertes sont parcourables, les blanches sont des murs et les points bleus sont des agents.
</p>

<p>
Voir <a href="/doku.php?id=realisation_env_grille_qlearning" class="wikilink1" title="realisation_env_grille_qlearning" data-wiki-id="realisation_env_grille_qlearning"> ici</a> pour plus de détails.
</p>

<p>
La grille est générée à parti d'un fichier texte. Il est possible de passer le nombre d'agents voulu dans le fichier texte, ils sont placés automatiquement sur la grille sur les positions désignés (l'utilisateur ne choisi pas spécifiquement d'un agent).
</p>

<p>
Exemple de fichier :
</p>

<p>
BBBBBB<br/>

BSEEEB<br/>

BBBBEB<br/>

BFEEEB<br/>

BBBBEB<br/>

BSEEEB<br/>

BBBBBB<br/>

</p>

<p>
Le 2 indique que deux agents seront sur la grille. Ils seront placés sur les deux cases "S". (Note à moi même - inutile de préciser le nombre d'agents, il suffirait d'en créer autant qu'il y a de cases "S").
</p>

</div>

<h4>Déroulement d'un épisode</h4>
<div class="level4">

<p>
Au début de l'épisode, les agents sont sur leur position de départ. Ils se déplacent l'un après l'autre sur la grille jusqu'à trouver la case objectif. A chaque déplacement l'agent reçoit une récompense de -1, s'il se déplace sur la case d'un autre agent, il reçoit une récompense de -10. Sinon, s'il trouve l'objectif sa récompense est de 0. <br/>

L'épisode est terminé lorsque les deux agents ont atteint la case objectif. Si un agent la trouve avant l'autre, l'épisode continue, mais l'agent qui l'a trouvé ne bouge plus. Pendant ce temps le second agent continue de le chercher.
</p>

<p>
<a href="/lib/exe/fetch.php?media=grille_sma.png" class="media mediafile mf_png" title="grille_sma.png (928.2 KB)">grille_sma.png</a>
</p>

</div>

<h3>Experience Tunnel To Goal</h3>
<div class="level3">

<p>
Deux IL évoluent sur une grille de forme Tunnel To Goal avec un QLearning (grille ci-dessus). Les deux agents essaient d'apprendre une politique optimale, mais se court-circuitent en arrivant devant le tunnel.
</p>

<p>
<a href="/lib/exe/fetch.php?media=reward_grille_sma_ils.png" class="media mediafile mf_png" title="reward_grille_sma_ils.png (34.2 KB)">reward_grille_sma_ils.png</a><br/>

(Somme des récompenses des deux agents - l'un en violet, l'autre en marron)
</p>

<p>
La récompense de -10 sur la collision à l'entrée du tunnel les empêche d'apprendre la politique optimale
</p>

</div>

<h3>Experience Sans collisions</h3>
<div class="level3">

<p>
Même test en prenant une grille dans laquelle il n'y a pas de collisions.
</p>

<p>
<a href="/lib/exe/fetch.php?media=sans_collisions_sma_grille.png" class="media mediafile mf_png" title="sans_collisions_sma_grille.png (926.4 KB)">sans_collisions_sma_grille.png</a>
</p>

<p>
On peut voir que la somme des récompenses tend vers un minimum et que les agents ne se perturbent pas.
</p>

<p>
<a href="/lib/exe/fetch.php?media=sans_collisions_sma_grille_ils.png" class="media mediafile mf_png wikilink2" title="sans_collisions_sma_grille_ils.png">sans_collisions_sma_grille_ils.png</a> <br/>

</p>

<p>
(Somme des récompenses des deux agents - l'un en violet, l'autre en marron)
</p>

</div>

Enable Complex Tables Editor Height px Turn supplementary image paste support on

Edit summary: Minor changes

Please fill all the letters into the box to prove you're human. I V K J T Please keep this field empty:

DokuWiki

Site Tools

Page Tools