Предельные вероятности состояний

Предположим, что все потоки событий, переводящих систему из одного состояния в другое в некоторой системе с n дискретными состояниями, - пуассоновские. После записи системы уравнений Колмогорова для вероятностей состояний и интегрирования этих уравнений при заданных начальных условиях, получим вероятности состояний, как функции времени, иными словами, n функции (5.12), удовлетворяющих условию (5.11).

Что произойдёт с системой S при ? Будут ли стремиться к каким-то пределам функции? Такие пределы, если они существуют, именуются предельными (или же «финальными») вероятностями состояний.

Возможно доказать следующее общее положение. В том случае, если число состояний системы S является конечным и из каждого состояния представляется возможным перейти (за то или иное количество шагов) в каждое другое состояние, то предельные вероятности состояний существуют, а также не зависят от начального состояния системы.

На рис. 5.4 показаны граф состояния и переходов, удовлетворяющие поставленному условию: из любого состояния система рано или поздно может перейти в любое другое состояние. Условие не будет выполняться при изменении направления стрелки 4—3 на графе рис 5.4, а на противоположное.

Рис. 5.4. Примеры ГСП для систем с предельными вероятностями

Допустим, что поставленное условие выполнено, и, следовательно, предельные вероятности существуют:

(5.22)

Предельные вероятности будут обозначаться теми же буквами , что и вероятности состояний, при этом под ними подразумеваются числа, а не переменные величины (функции времени).

Ясно, что предельные вероятности состояний должны давать в сумме единицу:

(5.23)

Следовательно, в системе приустанавливается некоторый предельный стационарный режим: пусть система и меняет собственные состояния случайным образом, однако вероятность каждого из этих состояний не зависит от времени и каждое из них осуществляется с некоторой постоянной вероятностью, представляющей собой среднее относительное время пребывания системы в этом состоянии.

Например, если у системы три возможных состояния:, _{в среднем две десятых времени, в состоянии} .

C целью вычисления предельных вероятностей состояний достаточно приравнять все левые части (производные) в системе уравнений Колмогорова, описывающих вероятности состояний, к нулю (так как в установившемся режиме все вероятности состояний постоянны).

Система дифференциальных уравнений в этом случае трансформируется в систему линейных алгебраических уравнений. Вместе с условием (5.23) («нормировочным условием») эти уравнения позволяют вычислить все предельные вероятности (5.22).

Пример 5.2. Система, , (данный на рис. 5.4 размеченный граф, причём рядом с каждой стрелкой указано численное значение соответствующей интенсивности). Необходимо вычислить предельные вероятности состояний _{, ,} , .

Уравнения Колмогорова для вероятностей состояний:

(5.24)

Считая левые части равными нулю, мы получим систему алгебраических уравнений для предельных вероятностей состояний:

(5.25)

Уравнения (5.25)представляют собой так называемые однородные уравнения (их свободный член равен нулю). Из алгебры известно, что корень _, , определяется этими уравнениями с точностью до постоянного множителя. При добавлении нормировочного условия (5.23), т.е., можно получить решение:

В этом случае возникает вопрос, как система из пяти уравнений может быть совместна на четырех неизвестных? Объясняется это тем, что система (5.25) состоит из зависимых уравнений (в случае их сложения получаем: 0 = 0), следовательно для решения достаточно взять три любых уравнения из (5.25) и добавить условие (5.23).

Следует обратить внимание, что для предельных вероятностей алгебраические уравнения можно записать непосредственно, не проходя этапа дифференциальных.

Пример 5.3. Написать и решить алгебраические уравнения для ПВС системы , граф состояния и переходов которой показан на рис. 5.4, б. Система уравнений имеет вид:

(5.26)

Условие нормировки:

(5.27)

C помощью первых двух уравнений (5.26) выразим _, :

и подставим их затем в нормировочное условие (5.27)

,

откуда

подобным же образом

(5.28)

Процессы размножения и гибели

Мы увидели, что при наличии размеченного ГСП системы, появляется возможность сразу же написать алгебраические уравнения для предельных вероятностей состояний. Следовательно, если имеются одинаковые графы состояний две непрерывные цепи Маркова, которые различаются лишь значениями интенсивностей, то необходимость находить предельные вероятности состояний для каждого из графов в отдельности отсутствует, при этом можно составить и решить уравнения только для одного из графов, а вслед затем вместоодставить соответствующие значения. Линейные уравнения для большей части часто встречающихся форм графов элементарно решаются в алгебраическом виде.

Рассмотрим важную разновидность непрерывных марковских цепей — процесс размножения и гибели. Происхождение термина берет начало от биологических задач, где подобной схемой описывается процесс изменения численности популяции [7].

Марковская непрерывная цепь именуется «процессом размножения и гибели», если ее граф состояний и переходов имеет вид, показанный на рис. 5.5, а, иначе говоря, можно вытянуть все состояния в одну цепочку, где каждое среднее состояние связано с каждым из соседних состояний прямой и обратной связью.

Рис. 5.5. Граф состояний и переходов для процессов размножения и гибели: а — общий вид; б — численный пример крайние состояния — лишь с одним соседним состоянием.

Пример 5.4. В состав технического устройства входит три одинаковых узла; каждый из этих узлов может выйти из строя (отказать); отказавший узел начинает сразу же восстанавливаться. Возможные состояния системы:

— все узлы исправны;

— два узла исправны и один узел отказал (восстанавливается);

— один узел исправен, два — восстанавливаются,;

— восстанавливаются все три узла.

Граф состояний и переходов дан на рис. 5.5, б. Как видно, протекающий в системе процесс, является процессом размножения и гибели. Довольно часто схема размножения и гибели встречается в практических задачах самого различного рода; следовательно есть смысл предварительно рассмотреть эту схему в общем виде и решить соответствующую систему алгебраических уравнений для того, чтобы впоследствии, встречаясь с конкретными процессами, которые протекают по подобной же схеме, пользоваться уже готовым решением.

Таким образом, следует рассмотреть случайный процесс размножения и гибели с ГСП, показанным на рис. 5.5, а.

Запишем алгебраические уравнения для вероятностей состояний. Для состояния имеем:

(5.29)

Для второго состояния суммы членов, которые соответствуют входящим и выходящим стрелкам, имеем:

Однако, в силу уравнения (5.29), есть возможность сократить равные друг другу справа и слева члены и тогда будем иметь:

и затем, подобным же образом, и т. д.

Ясно, что для этого случая члены, которые соответствуют стрелкам, стоящим друг над другом, равны между собой:

(5.30)

где принимает все значения от 2 до.

Следовательно, предельные вероятности состояний при любой схеме размножения и гибели удовлетворяют уравнениям:

(5.31)

и нормировочному условию (5.23):

Решим данную систему таким образом: выразим все переменные через, т.е.:

из первого уравнения (5.31) выразим :

(5.32) из второго, с учетом (5.32), имеем:

,

и т. д., общая формула:

(5.33)

Данная формула справедлива для любого от 2 до.

Посмотрим на структуру (5.33). В числителе находится произведение всех плотностей вероятности перехода (интенсивностей), стоящих у стрелок, которые направлены слева направо, с начала и вплоть до той, которая идет в состояние ; стоящих у стрелок, которые направлены справа налево, опять же, с начала и вплоть до стрелки, которая исходит из состояниястоящих у всех стрелок, которые направлены слева направо, а в знаменателе — у всех стрелок, направленных справа налево.

Таким образом, все вероятностивыражены через одну из этих вероятностей:. При подстановке этих выражений в нормировочное условие и выносе(подобно случаю (5.28)), имеем:

(5.34)

Оставшиеся вероятности несложно выразить через — см. (5.32), (5.33). Следователь, задача «размножения и гибели» решена в общем виде: предельные вероятности состояний найдены.

Пример 5.5. Найти предельные вероятности состояний для процесса размножения и гибели, ГСП которого представлен на рис. 5.4, б.

Согласно формулам (5.32)—(5.34) получим: