DokuWiki

<h2>Learning multi-agent state space representations</h2>
<div class="level2">

</div>

<h3>Quelques informations</h3>
<div class="level3">

<p>
Markov game -> Système multi-agent avec plusieurs sets d'actions, la proba de transition dépend de s, a et s', récompense unique à chaque agent et une transition.
</p>

<p>
Une variante consiste à donner une récompense commune aux agents.
</p>

<p>
Comment apprendre le bon moment auquel doivent se coordonnés les agents ? Quelques ressources dispo :
</p>
<ul>
<li class="level1"> Kok & Vlassis, Utile coordination : Learning indepedenies among cooperative agents.</li>
<li class="level1"> Spaan & Melo IDMG</li>
</ul>

<p>
Détails sur l'IDMG :
</p>
<ul>
<li class="level1"> Interaction Driven Markov Game</li>
<li class="level1"> Les agents peuvent connaitre la position des autres par la communication ou en les détectant avec les capteurs</li>
<li class="level1"> Plus de détails sur l'article de Spaan & Melo...</li>
</ul>

<p>
Learning Coordination States :
</p>
<ul>
<li class="level1"> Identification des états dans lequel un agent devrait prendre en compte les autres agents quand il choisi une action et qu'il y a besoin de coordination sur celle-ci avec un autre agent.</li>
</ul>

</div>

<h3>CQ-Learning</h3>
<div class="level3">

<p>
En partant du principe que les agents ont une politique optimale ainsi qu'une récompense associée à chaque tuple &lt;état, action>.
</p>

<p>
Les agents ont deux ensembles d'états, un classique qui répertorie tous les états (hors joint) et un "joint" qui répertorie les états qui sont en collisions avec d'autres agents. C'est à dire accessibles par deux agents ou plus.
</p>

<p>
L'algorithme utilise alors test de Student pour détecter des changements dans la valeur d'une récompense sur un &lt;état, action> ciblé. Deux situations peuvent arriver :
</p>
<ul>
<li class="level1 node"> L'algorithme détecte un changement, s'en suivent alors les étapes suivantes : <ol>
<li class="level3"> Marquage de l'état</li>
<li class="level3"> Recherche de la cause du changement</li>
<li class="level3"> Paire &lt;état, action> marquée comme "dangereuse"</li>
<li class="level3"> Ajout de l'état à l'ensemble d'états "joint" de l'agent</li>
<li class="level3"> Les &lt;états, action> qui n'ont pas provoqués la collision sont marqué comme "safe"</li>
</ol>
</li>
<li class="level1">  L'algorithme ne détecte aucun changement, aucune instruction n'a lieu</li>
</ul>

</div>

Enable Complex Tables Editor Height px Turn supplementary image paste support on

Edit summary: Minor changes

Please fill all the letters into the box to prove you're human. E K E D J Please keep this field empty:

DokuWiki

Site Tools

Page Tools