Ce module est la passerelle vers les processus et les chaînes de Markov. L'échantillonnage de Thompson est un vieil algorithme qui a été remis au goût du jour et qui est actuellement utilisé pour résoudre de nombreux problèmes difficiles. En comprenant ce matériel et les liens avec la semaine dernière et la semaine à venir, les étudiants seront bien placés pour maîtriser ce premier cours de la Spécialisation

Les points de changement sont des endroits où les distributions précédemment stationnaires des deux derniers modules passent à une nouvelle distribution. Dans une chaîne de fabrication, cela peut être dû à un nouveau lot de matériaux qui arrivent avec des caractéristiques différentes, de sorte que le taux d'échec change.

Les chaînes de Markov décrivent une séquence de changements d'état. Elles sont souvent utilisées pour décrire des transitions complexes entre états et constituent un outil de modélisation essentiel pour améliorer la compréhension d'un système complexe. Nous les utiliserons comme modèle pour expliquer comment des données séquentielles peuvent être produites par un système plus complexe.

L'étape suivante dans la capacité de modélisation est celle des processus de Markov avec décisions. Ceci est lié à la recherche moderne sur l'Apprentissage par renforcement et permet d'optimiser les ensembles de décisions pour obtenir un résultat optimal. Dans cette dernière semaine du premier cours, nous couvrirons les bases de la façon dont ces processus de décision de Markov peuvent être paramétrés et ce qu'ils signifient.