Chaînes de Markov

Introduction aux Chaînes de Markov

Les chaînes de Markov, nommées d'après le mathématicien russe Andreï Markov, sont des modèles mathématiques qui décrivent une séquence d'événements possibles dans laquelle la probabilité de chaque événement dépend uniquement de l'état atteint lors de l'événement précédent.

Définition formelle

Une chaîne de Markov est définie par un ensemble d'états et une matrice de transition qui spécifie la probabilité de passer d'un état à un autre. Formellement, si nous avons n états, la matrice de transition P est une matrice n x n où P[i][j] représente la probabilité de passer de l'état i à l'état j.

Propriétés

• Propriété de Markov : l'état futur ne dépend que de l'état présent, pas des états passés.
• Stationnarité : les probabilités de transition ne changent pas au fil du temps.
• Irréductibilité : il est possible d'atteindre n'importe quel état à partir de n'importe quel autre état.
• Périodicité : certains états peuvent être revisités à intervalles réguliers.

Applications

Les chaînes de Markov ont de nombreuses applications, notamment :

• Modélisation de systèmes physiques
• Analyse de texte et génération de langage naturel
• Prévisions météorologiques
• Modèles économiques et financiers
• Algorithmes de recherche sur le Web (ex: PageRank de Google)

Simulation d'une Chaîne de Markov