Etude 01

Action-value Methods

Les méthodes de valeur d’action (action-value methods) sont utilisées pour estimer la valeur attendue des différentes actions. L’estimation de la valeur d’une action a est notée Q(a) et est mise à jour au fur et à mesure que l’agent accumule des expériences.

Exemple de méthode :

• Moyenne échantillonnée : Q(a) est mis à jour en prenant la moyenne des récompenses reçues pour cette action.

• où nnn est le nombre de fois où l’action aaa a été choisie, et RRR est la récompense reçue.

Tracking a Nonstationary Problem

Dans des problèmes non stationnaires, les distributions de récompenses peuvent changer au fil du temps. Une méthode pour suivre ces changements est d’utiliser une moyenne mobile exponentielle pour mettre à jour Q(a).

Exemple :

où α est un facteur de taux d’apprentissage constant (0 < α ≤ 1).

Upper-Confidence-Bound Action Selection

La sélection d’actions par borne supérieure de confiance (Upper-Confidence-Bound, UCB) est une méthode qui équilibre l’exploration et l’exploitation en prenant en compte l’incertitude de l’estimation des valeurs d’action.

Formule :

où A_t​ est l’action choisie à l’instant t, Q(_a) est la valeur estimée de l’action a, N(_a) est le nombre de fois que l’action a a été choisie, et ccc est un paramètre qui contrôle le degré d’exploration.

Résumé

Le Chapitre 2 introduit les concepts de base des problèmes de bandits manchots à plusieurs bras, les méthodes d’estimation des valeurs d’action, le suivi des problèmes non stationnaires et les techniques pour équilibrer exploration et exploitation comme UCB.

Ces concepts sont essentiels pour comprendre les mécanismes de prise de décision dans des environnements incertains et constituent une base importante pour les algorithmes d’apprentissage par renforcement plus complexes.

Lisez de la page 47 a la page 64

Faites l‘Exercice Pratique 02