Цепь Маркова

Це́пь Ма́ркова — последовательность случайных событий с конечным или счётным бесконечным числом исходов, характеризующаяся тем свойством, что при фиксированном настоящем будущее независимо от прошлого. Названа в честь А. А. Маркова (старшего).

Содержание

Цепь Маркова с дискретным временем

Определение

Последовательность дискретных случайных величин \{X_n\}_{n \ge 0} называется цепью Маркова (с дискретным временем), если

\mathbb{P}(X_{n+1} = i_{n+1} \mid X_n = i_n, X_{n-1} = i_{n-1},\ldots, X_0 = i_0) = \mathbb{P}(X_{n+1} = i_{n+1} \mid X_n = i_n).

Образ случайных величин {Xn} называется простра́нством состоя́ний цепи, а номер n — номером шага.

Переходная матрица и однородные цепи

Матрица P(n), где

P_{ij}{(n)} \equiv \mathbb{P}(X_{n+1} = j \mid X_n = i)

называется ма́трицей перехо́дных вероя́тностей на n-ом шаге, а вектор \mathbf{p} = (p_1,p_2,\ldots)^{\top}, где

p_i \equiv \mathbb{P}(X_0 = i)

нача́льным распределе́нием цепи Маркова.

Очевидно, матрица переходных вероятностей является стохастической, то есть

\sum\limits_{j=1}^{\infty} P_{ij}(n) = 1, \quad \forall n \in \mathbb{N}.

Цепь Маркова называется одноро́дной, если матрица переходных вероятностей не зависит от номера шага, то есть

P_{ij}{(n)} = P_{ij},\quad \forall n \in \mathbb{N}.

В противном случае цепь Маркова называется неоднородной. В дальнейшем будем предполагать, что имеем дело с однородными цепями Маркова.

Конечномерные распределения и матрица перехода за n шагов

Из свойств условной вероятности и определения однородной цепи Маркова получаем:

\mathbb{P}(X_{n} = i_{n} , \ldots, X_0 = i_0) = P_{i_{n-1},i_n} \cdots P_{i_0,i_1} p_{i_0},

откуда вытекает специальный случай уравнения Колмогорова — Чепмена:

\mathbb{P}(X_n = i_n \mid X_0 = i_0) = (P^n)_{i_0,i_n},

то есть матрица переходных вероятностей за n шагов однородной цепи Маркова есть n-ая степень матрицы переходных вероятностей за 1 шаг. Наконец,

\mathbb{P}(X_n = i_n) = \left(P^n \mathbf{p}\right)_{i_n}.

Классификация состояний цепи Маркова

Примеры

Цепь Маркова с непрерывным временем

Определение

Семейство дискретных случайных величин \{X_t\}_{t \ge 0} называется цепью Маркова (с непрерывным временем), если

\mathbb{P}(X_{t+h} = x_{t+h} \mid X_s = x_s,\; 0 < s \le t ) = \mathbb{P}(X_{t+h} = x_{t+h} \mid X_t = x_t).

Цепь Маркова с непрерывным временем называется однородной, если

\mathbb{P}(X_{t+h} = x_{t+h} \mid X_t = x_t) = \mathbb{P}(X_{h} = x_{h} \mid X_0 = x_0).

Матрица переходных функций

Аналогично случаю дискретного времени конечномерные распределения однородной цепи Маркова с непрерывным временем полностью определены начальным распределением

\mathbf{p} = (p_1,p_2,\ldots)^{\top},\; p_i = \mathbb{P}(X_0 = i),\quad i=1,2,\ldots

и ма́трицей перехо́дных фу́нкций

P_{ij}(h) = \mathbb{P}(X_h = j \mid X_0 = i).

Примеры


Классификация состояний и цепей Маркова
Состояние: апериодическое | возвратное | достижимое | невозвратное | несущественное | нулевое | периодическое | положительное | сообщающееся | существенное
Цепь: апериодическая | возвратная | невозвратная | неразложимая | нулевая | периодическая | положительная | разложимая | эргодическая
 
Начальная страница  » 
А Б В Г Д Е Ж З И Й К Л М Н О П Р С Т У Ф Х Ц Ч Ш Щ Ы Э Ю Я
A B C D E F G H I J K L M N O P Q R S T U V W X Y Z
0 1 2 3 4 5 6 7 8 9 Home