Достижимое состояние

Определение

Пусть \{X_n\}_{n \in \mathbb{N}} — однородная цепь Маркова с дискретным временем. Состояние j называется достижи́мым из состояния i, если существует n = n(i,j) такое, что

p_{ij}^{(n)}\equiv \mathbb{P}(X_n = j \mid X_0 = i) > 0.

Пишут i \rightarrow j.

Сообщающиеся состояния

  • Состояния i и j называются сообща́ющимися, если i \rightarrow j и j \rightarrow i. Пишем: i \leftrightarrow j.
  • Свойство сообщаемости порождает на пространстве состояний отношение эквивалентности. Порождаемые классы эквивалентности называются неразложи́мыми кла́ссами. Если цепь Маркова такова, что её состояния образуют лишь один неразложимый класс, то она называется неразложи́мой.
  • Состояния, принадлежащие одному и тому же неразложимому классу, либо все возвратные, либо все невозвратные. Таким образом неразложимый класс целиком либо возвратен, либо невозвратен. Наконец, неразложимая цепь Маркова либо целиком возвратна, либо целиком невозвратна.

Примеры

  • Пусть \{X_n\}_{n \ge 0} - цепь Маркова с тремя состояниями {1,2,3}, и её матрица переходных вероятностей имеет вид
P = \left( \begin{matrix} 0.5 & 0.5 & 0 \\ 0.1 & 0.9 & 0 \\ 0 & 0 & 1 \end{matrix} \right).

Состояния этой цепи образуют два неразложимых класса: {1,2} и {3}. В частности, 1 \leftrightarrow 2, но 1 \not\rightarrow 3 и 3 \not\rightarrow 1.

  • Цепь Маркова, задаваемая матрицей переходных вероятностей
P = \left( \begin{matrix} 0 & 1 & 0 \\ 0 & 0 & 1 \\ 1 & 0 & 0 \end{matrix} \right),

неразложима.


Классификация состояний и цепей Маркова
Состояние: апериодическое | возвратное | достижимое | невозвратное | несущественное | нулевое | периодическое | положительное | сообщающееся | существенное
Цепь: апериодическая | возвратная | невозвратная | неразложимая | нулевая | периодическая | положительная | разложимая | эргодическая
 
Начальная страница  » 
А Б В Г Д Е Ж З И Й К Л М Н О П Р С Т У Ф Х Ц Ч Ш Щ Ы Э Ю Я
A B C D E F G H I J K L M N O P Q R S T U V W X Y Z
0 1 2 3 4 5 6 7 8 9 Home