Возвратное состояние

Возвра́тное состоя́ние - это состояние Марковской цепи, посещаемое ей бесконечное число раз.

Содержание

Определение

Пусть дана однородная цепь Маркова с дискретным временем \{X_n\}_{n \ge 0}. Пусть

f_{ii}^{(n)} = \mathbb{P}(X_n = i,\; X_k \not= i, \, k=1,\ldots, n-1 \mid X_0 = i )

- вероятность, выйдя из состояния i, вернуться в него ровно за n шагов. Тогда

f_{ii} = \sum\limits_{n=1}^{\infty} f_{ii}^{(n)}

- вероятность, выйдя из состояния i, вернуться в него за конечное время.

Состояние i называется возвра́тным (рекурре́нтным), если fii = 1. В противном случае состояние называется невозвра́тным (транзие́нтным).

Критерий возвратности

Состояние i является возвратным тогда и только тогда, когда выполнено любое из следующих условий:

  1. \sum\limits_{n=1}^{\infty} p_{ii}^{(n)} = \infty, где p_{ii}^{(n)} = \mathbb{P}(X_n = i \mid X_0 = i).
  2. \mathbb{P}\left( \limsup\limits_{n \to \infty} \{X_n = i\}\mid X_0 = i \right) = 1.

Соответственно, состояние i невозвратно тогда и только тогда, когда выполнено любое из условий:

  1. \sum\limits_{n=1}^{\infty} p_{ii}^{(n)} < \infty.
  2. \mathbb{P}\left( \limsup\limits_{n \to \infty} \{X_n = i\}\mid X_0 = i \right) = 0.

Время возвращения

Предположим, что X0 = i почти наверное, и определим случайную величину Ti, равную времени первого возвращения в состояние i, то есть

T_i = \inf\{n \ge 1 \mid X_n = i \}.

Тогда Ti имеет дискретное распределение, задаваемое функцией вероятности

\mathbb{P}(T_i = n) = f_{ii}^{(n)}.

Возвратное состояние i называется положи́тельным, если

\mathbb{E}[T_i] = \sum\limits_{n=1}^{\infty} n f^{(n)}_{ii} < \infty,

и нулевы́м, если

\mathbb{E}[T_i] = \infty.

Возвратность неразложимого класса

  • Если состояния i и j сообщаются, и i - возвратно, то состояние j также возвратно.
  • Более того если состояние i положительно, то и состояние j также положительно.

Таким образом возвратность и положительность - свойство неразложимого класса. Если Марковская цепь неразложима, то говорят о её возвратности и положительности.


Классификация состояний и цепей Маркова
Состояние: апериодическое | возвратное | достижимое | невозвратное | несущественное | нулевое | периодическое | положительное | сообщающееся | существенное
Цепь: апериодическая | возвратная | невозвратная | неразложимая | нулевая | периодическая | положительная | разложимая | эргодическая
 
Начальная страница  » 
А Б В Г Д Е Ж З И Й К Л М Н О П Р С Т У Ф Х Ц Ч Ш Щ Ы Э Ю Я
A B C D E F G H I J K L M N O P Q R S T U V W X Y Z
0 1 2 3 4 5 6 7 8 9 Home