Discrétisation uniforme inter-agent
Problème
Utiliser un algorithme non déterministe de discrétisation peut être efficace pour qu'un agent se dirige dans un environnement. Ce n'est pas le cas lorsque plusieurs agents agissent dans le même environnement.
Dans le cas de l'algorithme du CQ-learning, les agents ont besoin d'avoir la même perception des états pour pouvoir se coordonner. Dans un grid world, les états sont uniformes et le problème ne se pose pas. Dans certains environnements (tel que le puddle world), l'environnement doit d'abord être discrétisé pour permettre à l'agent d'avancer. Si plusieurs agents se trouvent dans un environnement similaire la discrétisation ne sera pas identique aux deux agents (car algo non déterministe). Les agents essayeront alors de se coordonner avec des états qui ont des représentations différentes. Le Qlearning n'est alors plus assuré de convergé.
