CADENAS DE MARKOV
Un proceso o sucesión de eventos que se desarrolla en el
tiempo en el cual el resultado en cualquier etapa contiene algún elemento que
depende del azar se denomina proceso aleatorio o proceso estocástico. Por
ejemplo, la sucesión podría ser las condiciones del tiempo en Paraná en una
serie de días consecutivos: el tiempo cambia día a día de una manera que en
apariencia es algo aleatoria. O bien, la sucesión podría consistir en los precios
de las acciones que cotizan en la bolsa en donde otra vez interviene cierto
grado de aleatoriedad.
Un ejemplo simple de un proceso estocástico es una sucesión
de ensayos de Bernoulli, por ejemplo, una sucesión de lanzamientos de una moneda.
En este caso, el resultado en cualquier etapa es independiente de todos los
resultados previos (esta condición de independencia es parte de la definición
de los ensayos de Bernoulli). Sin embargo, en la mayoría de los procesos
estocásticos, cada resultado depende de lo que sucedió en etapas anteriores del
proceso. Por ejemplo, el tiempo en un día determinado no es aleatorio por
completo sino que es afectado en cierto grado por el tiempo de días previos. El
precio de una acción al cierre de cualquier día depende en cierta medida del comportamiento
de la bolsa en días previos.
El caso más simple de un proceso estocástico en que los
resultados dependen de otros, ocurre cuando el resultado en cada etapa sólo
depende del resultado de la etapa anterior y no de cualquiera de los resultados
previos. Tal proceso se denomina proceso de Markov o cadena de Markov (una
cadena de eventos, cada evento ligado al precedente)
Estas cadenas reciben su nombre del matemático ruso Andrei
Andreevitch Markov (1856-1922). Como mencionamos antes, estas cadenas tiene
memoria, recuerdan el último evento y eso condiciona las posibilidades de los
eventos futuros. Esto justamente las distingue de una serie de eventos
independientes como el hecho de tirar una moneda. Este tipo de proceso presenta
una forma de dependencia simple, pero muy útil en muchos modelos, entre las
variables aleatorias que forman un proceso estocástico. Se utilizan, por
ejemplo, para analizar patrones de compra de deudores morosos, para planear
necesidades de personal, para analizar el reemplazo de un equipo, entre otros.
Definición
Una cadena de Markov es una sucesión de ensayos similares u
observaciones en la cual cada ensayo tiene el mismo número finito de resultados
posibles y en donde la probabilidad de cada resultado para un ensayo dado
depende sólo del resultado del ensayo inmediatamente precedente y no de
cualquier resultado previo.
Propiedad de Markov: Dada una secuencia de variables
aleatorias ...... , , , X1 X2 X3, tales que el valor de Xn es el estado del
proceso en el tiempo n. Si la distribución de probabilidad condicional de Xn+1 en
estados pasados es una función de Xn por sí sola,
Entonces:
Donde xi es el estado del proceso en el instante i.
Esta identidad es la denominada propiedad de Markov: El
estado en t + 1 sólo depende del estado
en t y no de la evolución anterior del sistema.
