Случайная траектория движения точки как марковский процесс. Понятие о марковских случайных процессах. Марковские случайные процессы

Эволюция которого после любого заданного значения временно́го параметра t {\displaystyle t} не зависит от эволюции, предшествовавшей t {\displaystyle t} , при условии, что значение процесса в этот момент фиксировано («будущее» процесса не зависит от «прошлого» при известном «настоящем»; другая трактовка (Вентцель): «будущее» процесса зависит от «прошлого» лишь через «настоящее»).

Энциклопедичный YouTube

1 / 3

✪ Лекция 15: Марковские случайные процессы

✪ Происхождение марковских цепей

✪ Обобщенная модель марковского процесса

Субтитры

История

Определяющее марковский процесс свойство принято называть марковским; впервые оно было сформулировано А. А. Марковым , который в работах 1907 г. положил начало изучению последовательностей зависимых испытаний и связанных с ними сумм случайных величин. Это направление исследований известно под названием теории цепей Маркова .

Основы общей теории марковских процессов с непрерывным временем были заложены Колмогоровым .

Марковское свойство

Общий случай

Пусть (Ω , F , P) {\displaystyle (\Omega ,{\mathcal {F}},\mathbb {P})} - вероятностное пространство с фильтрацией (F t , t ∈ T) {\displaystyle ({\mathcal {F}}_{t},\ t\in T)} по некоторому (частично упорядоченному) множеству T {\displaystyle T} ; и пусть (S , S) {\displaystyle (S,{\mathcal {S}})} - измеримое пространство . Случайный процесс X = (X t , t ∈ T) {\displaystyle X=(X_{t},\ t\in T)} , определённый на фильтрованном вероятностном пространстве, считается удовлетворяющим марковскому свойству , если для каждого A ∈ S {\displaystyle A\in {\mathcal {S}}} и s , t ∈ T: s < t {\displaystyle s,t\in T:s,

Марковский процесс - это случайный процесс, удовлетворяющий марковскому свойству с естественной фильтрацией .

Для марковских цепей с дискретным временем

В случае, если S {\displaystyle S} является дискретным множеством и T = N {\displaystyle T=\mathbb {N} } , определение может быть переформулировано:

Пример марковского процесса

Рассмотрим простой пример марковского случайного процесса. По оси абсцисс случайным образом перемещается точка. В момент времени ноль точка находится в начале координат и остается там в течение одной секунды. Через секунду бросается монета - если выпал герб, то точка X перемещается на одну единицу длины вправо, если цифра - влево. Через секунду снова бросается монета и производится такое же случайное перемещение, и так далее. Процесс изменения положения точки («блуждания ») представляет собой случайный процесс с дискретным временем (t=0, 1, 2, …) и счетным множеством состояний. Такой случайный процесс называется марковским, так как следующее состояние точки зависит только от настоящего (текущего) состояния и не зависит от прошлых состояний (неважно, каким путём и за какое время точка попала в текущую координату).

Марковские случайные процессы.

Предположим, что нам необходимо изучить некоторую «физическая систему» S (процесс функционирования которой можно описать явным образом), которая может с течением времени изменять свое состояние (переходит из одного состояния в другое) заранее неизвестным, случайным образом. Под «физической системой» можно понимать что угодно: техническое устройство, группу таких устройств, предприятие, отрасль промышленности, живой организм, популяцию и так далее.

Полагаем, что исследуемая система S может быть описана некоторым множеством возможных, заранее известных состояний системы S i , которые можно определить исходя из «физической природы» исследуемого процесса функционирования системы, т.е. .

- i -тое состояние системы зависит от k параметров.

Следует учесть, что переход из состояния S i в состояние S j носит стохастический характер. Функционирование системы начинаем рассматривать с начального состояния S 0 , которому соответствует момент времени t 0 . То есть, то, что было с системой до момента времени t 0 , относится к «прошлому оной», к предыстории.

Определение: Случайный процесс, протекающий в системе, называется марковским, если для любого момента времени t 0 вероятностные характеристики процесса в будущем зависят только от его состояния в данный момент t 0 и не зависят от того, когда и как система пришла в это состояние.

Полагаем, что состояние системы описывается функцией S (t ), аргумент этой функции, - время t непрерывно, известны моменты времени перехода системы из одного состояния в другое t : t 1 <t 2 < … <t n . Причем переход из одного состояния в другое происходит «скачком», практически мгновенно.

Пришли к тому, что процессу функционирования системы ставится в соответствие цепь дискретных состояний: S 1 ®S 2 ® … ®S n-1 ®S n (последовательный переход из одного состояния в другое, без «перескакивания» через какое-либо состояние). То есть, рассматриваемая система описывается марковским случайным процессом с дискретными состояниями и непрерывным временем.

Из теории вероятности мы знаем, что функция плотности вероятности для n -го состояния ищется как совместная функция плотности для всей «предыстории» процесса прихода системы в это состояние: .

На практике марковские процессы в чистом виде не встречаются, но нередко приходится иметь дело с процессами, для которых влияние предыстории можно пренебречь. При изучении таких процессов можно применять марковские модели.

При переходе рассмотрения процесса как марковского аналитическое описание модели упрощается, так как полагаем, что состояние системы зависит только от одного предыдущего состояния: .

Цепи Маркова задаются набором четко определенных состояний: . По тому, когда и каким образом происходят «переходы», цепи Маркова делятся на дискретные, для которых время перехода из одного состояния в другое фиксировано, и определяется вероятностью этого перехода, и непрерывные, для которых состояния дискретны, время непрерывно и переходы из одного состояния в другое происходят в случайные, заранее не известные, моменты времени.

При анализе случайных процессов с дискретными состояниями удобно пользоваться геометрической схемой – так называемым графом состояний.

Определение. Граф – это совокупность множества вершин V и множество упорядоченных пар вершин A ={(a 1 a i) (a 2 a j) … }, элементы которого называются ребрами G (V ,A ).

Состояниям системы ставятся в соответствие вершины графа, а переходам из одного состояния в другое – верви с указанием «направления протекания» процесса.

На следующем примере рассмотрим методику исследования цепей Маркова с помощью размеченного графа состояний.

Пример №1. ТЭА техническая эксплуатация автомобиля.

Упрощенная модель ТЭА подразумевает наличие хотя бы четырех следующих состояний: S 1 – диагностика состояния автомобиля, S 2 – работа на линии (автомобиль исправен), S 3 – техническое обслуживание, S 4 – устранение неисправности (ремонт).

Соответствующий данной системе размеченный граф

m ij плотность вероятности перехода из состояния S i в состояние S j (S i ®S j ), где P ij (Dt ) – вероятность того, что за промежуток времени Dt произойдет данный переход.

Для малых значений Dt справедливо следующее приближенное равенство .

Значения вероятностей переходов определяются из системы дифференциальных уравнений (Колмогорова) по следующим правилам:

1) каждой вершине ставится в соответствие соответствующее состояние, описываемое вероятностью нахождения системы в оном, поэтому количество состояний определяет количество уравнений в системе;

2) в левой части уравнения – производная вероятности соответствующего состояния;

3) в правой части столько слагаемых, сколько переходов (ветвей) в размеченном графе связано с данным состоянием;

4) каждый элемент правой части равен произведению плотности вероятности перехода на плотность вероятности того состояния, из которого осуществлялся переход;

5) в правой части со знаком «+» идут (складываются) элементы, описывающие попадание системы в данное состояние, и со знаком «-» (вычитаются) элементы, описывающие «выход» системы из данного состояния;

6) для упрощения «решаемости» в систему вводится нормирующее уравнение, описывающее полную группу событий: , где N-количество вершин в размеченном графе состояний.

Данная система уравнений будет легче решаема в случае, когда она описывает стационарный процесс работы исследуемой технической системы (обычно вхождение системы в стационарный режим функционирования занимает от 2-х до 4-х тактов).

На практике считаем, что предположение о стационарности функционирования системы правомерно, если время функционирования системы в целом на порядок выше, чем (20¸40)×тактов работы системы («последовательное» одинарное прохождение по ветвям графа).

Стационарность режима работы предполагает равенство нулю от производных по времени от вероятностей состояния, т.е. .

и его решение уже не представляет особой сложности.

Система уравнений по Колмогорову позволяет решить задачу нахождения значений вероятностей для стационарного режима (финальных вероятностей) по известным плотностям вероятностей переходов по ветвям графа, равно как и обратную ей, т.е. нахождение плотностей вероятностей при заданных финальных вероятностях.

Пример №2.

Рассмотрим техническую систему S , состоящую из двух параллельно работающих узлов (два поста на СТО, два заправочных автомата на АЗС). Будем полагать, что переходы системы из одного состояния в другое происходят мгновенно, в случайные моменты времени. Как только узел выходит из строя, он «мгновенно» поступает на ремонт и после приведения его в рабочее состояние он также «мгновенно» начинает эксплуатироваться.

Полагаем, что данная система полностью описывается всего четырьмя состояниями: S 0 – оба узла исправны; S 1 – первый узел ремонтируется, второй исправен; S 2 – второй узел ремонтируется, первый исправен; S 3 – ремонтируются оба узла.

l 1 , l 2 – плотность вероятности выхода из строя первого и второго поста, m 1 , m 2 – плотность вероятности восстановления первого и второго узла соответственно.

Составим систему дифференциальных уравнений по Колмогорову для вероятностей состояний данной системы.

Чтобы решить уравнения Колмогорова и найти численные значения для вероятностей соответствующих состояний, необходимо задаться начальными условиями.

Будем полагать, что в начальный момент времени оба узла исследуемой системы исправны, система находится в состоянии S 0 , т.е. P 0 (t =0)=1, а все остальные начальные вероятности равны нулю: P 1 (0)=P 2 (0)=P 3 (0)=0.

Данная система уравнений легко решается в случае, если система функционирует в установившемся режиме и все процессы, протекающие в ней, стационарные.

Стационарность режима работы предполагает равенство нулю от производных по времени от вероятностей состояния, т.е., i =1, 2, … , n , , где n – количество возможных состояний. А с учётом полной группы событий добавляется уравнение

Последнее, так называемое нормировочное условие, позволяет исключить из системы одно из уравнений…

Решим данную систему при следующих данных: l 1 =1, l 2 =2, m 1 =2, m 2 =3. Запишем систему без четвертого уравнения.

Решая их, получим: P 0 =0,4; P 1 =0,2; P 2 @0,27; P 3 @0,13.

Т.е. в стационарном режиме работы наша система в среднем 40% времени будет находиться в состоянии S 0 – оба узла исправны, и т.д..

Значения этих финальных вероятностей могут помочь оценить среднюю эффективность работы системы и загрузку ремонтных органов. Предположим, что система S в состоянии S 0 приносит доход 8 условных единиц (у.е.) в единицу времени, в состоянии S 1 3у.е., в S 2 5у.е., а в состоянии S 3 не приносит дохода.

Многие операции, которые приходится анализировать при выборе оптимального решения, развиваются как случайные процессы, зависящие от ряда случайных факторов.

Для математического описания многих операций, развивающихся в форме случайного процесса, может быть с успехом применен математический аппарат, разработанный в теории вероятностей для так называемых марковских случайных процессов.

Поясним понятие марковского случайного процесса.

Пусть имеется некоторая система S, состояние которой меняется с течением времени (под системой S может пониматься все что угодно: промышленное предприятие, техническое устройство, ремонтная мастерская и т. д.). Если состояние системы S меняется во времени случайным, заранее непредсказуемым образом, говорят, что в системе S протекает случайный процесс.

Примеры случайных процессов:

флуктуации цен на фондовом рынке;

обслуживание клиентов в парикмахерской или ремонтной мастерской;

выполнение плана снабжения группы предприятий и т. д.

Конкретное протекание каждого из этих процессов зависит от ряда случайных, заранее непредсказуемых факторов, таких как:

поступление на фондовый рынок непредсказуемых известий о политических изменениях;

случайный характер потока заявок (требований), поступающих со стороны клиентов;

случайные перебои в выполнении плана снабжения и т. д.

ОПРЕДЕЛЕНИЕ. Случайный процесс, протекающий в системе, называется марковским (или процессом без последствия ), если он обладает следующим свойством: для каждого момента времени t 0 вероятность любого состояния системы в будущем (при t > t 0) зависит только от ее состояния в настоящем (при t = t 0) и не зависит от того, когда и каким образом система пришла в это состояние (т. е. как развивался процесс в прошлом).

Другими словами, в марковском случайном процессе будущее развитие его зависит только от настоящего состояния и не зависит от “предыстории” процесса.

Рассмотрим пример. Пусть система S представляет собой фондовый рынок, который уже существует какое-то время. Нас интересует, как будет работать система в будущем. Ясно, по крайней мере в первом приближении, что характеристики работы в будущем (вероятности падения цен конкретных акций через неделю) зависят от состояния системы в настоящий момент (здесь могут вмешаться самые различные факторы типа решений правительства или результатов выборов) и не зависят от того, когда и как система достигла своего настоящего состояния (не зависят от характера движения цен на эти акции в прошлом).

На практике часто встречаются случайные процессы, которые, с той или другой степенью приближения можно считать марковскими.

Теория марковских случайных процессов имеет широкий спектр различных приложений. Нас будет интересовать главным образом применение теории марковских случайных процессов к построению математических моделей операций, ход и исход которых существенно зависит от случайных факторов.

Марковские случайные процессы подразделяются на классы в зависимости от того, как и в какие моменты времени система S" может менять свои состояния.

ОПРЕДЕЛЕНИЕ. Случайный процесс называется процессом с дискретными состояниями, если возможные состояния системы s x , s 2 , s v ... можно перечислить (пронумеровать) одно за другим, а сам процесс состоит в том, что время от времени система S скачком (мгновенно) перескакивает из одного состояния в другое.

Например, разработку проекта S осуществляют совместно два отдела, каждый из которых может совершить ошибку. Возможны следующие состояния системы:

5, - оба отдела работают нормально;

s 2 - первый отдел совершил ошибку, второй работает нормально;

s 3 - второй отдел совершил ошибку, первый работает нормально;

s 4 - оба отдела совершили ошибку.

Процесс, протекающий в системе, состоит в том, что она случайным образом в какие-то моменты времени переходит («перескакивает») из состояния в состояние. Всего у системы четыре возможных состояния. Перед нами - процесс с дискретными состояниями.

Кроме процессов с дискретными состояниями существуют случайные процессы с непрерывными состояниями : для этих процессов характерен постепенный, плавный переход из состояния в состояние. Например, процесс изменения напряжения в осветительной сети представляет собой случайный процесс с непрерывными состояниями.

Мы будем рассматривать только случайные процессы с дискретными состояниями.

При анализе случайных процессов с дискретными состояниями очень удобно пользоваться геометрической схемой - так называемым графом состояний. Граф состояний геометрически изображает возможные состояния системы и ее возможные переходы из состояния в состояние.

Пусть имеется система S с дискретными состояниями:

Каждое состояние будем изображать прямоугольником, а возможные переходы (“перескоки”) из состояния в состояние - стрелками, соединяющими эти прямоугольники. Пример графа состояния приведен на рис. 4.1.

Заметим, что стрелками отмечаются только непосредственные переходы из состояния в состояние; если система может перейти из состояния s 2 в 5 3 только через s y то стрелками отмечаются только переходы s 2 -> и л, 1 -> 5 3 , но не s 2 -» s y Рассмотрим несколько примеров:

1. Система S - фирма, которая может находиться в одном из пяти возможных состояний: s ] - работает с прибылью;

s 2 - утратила перспективу развития и перестала приносить прибыль;

5 3 - стала объектом для потенциального поглощения;

s 4 - находится под внешним управлением;

s 5 - имущество ликвидируемой фирмы продается на торгах.

Граф состояний фирмы показан на рис. 4.2.

Рис. 4.2

• 2. Система S - банк, имеющий два отделения. Возможны следующие состояния системы:
• 5, - оба отделения работают с прибылью;

s 2 - первое отделение работает без прибыли, второе работает с прибылью;

5 3 - второе отделение работает без прибыли, первое работает с прибылью;

s 4 - оба отделения работают без прибыли.

Предполагается, что улучшение состояния не происходит.

Граф состояний представлен на рис. 4.3. Отметим, что на графе не показан возможный переход из состояния s ] непосредственно в s 4 , который осуществится, если банк сразу будет работать в убыток. Возможностью такого события можно пренебречь, что и подтверждает практика.

Рис. 4.3

3. Система S - инвестиционная компания, состоящая из двух трейдеров (отделов): I и II; каждый из них может в какой-то момент времени начать работать в убыток. Если это происходит, то руководство компании немедленно принимает меры для восстановления прибыльной работы отдела.

Возможные состояния системы: s - деятельность обоих отделов прибыльна; s 2 - первый отдел восстанавливается, второй работает с прибылью;

s 3 - первый отдел работает с прибылью, второй восстанавливается;

s 4 - оба отдела восстанавливаются.

Граф состояний системы показан на рис. 4.4.

4. В условиях предыдущего примера деятельность каждого трейдера перед тем, как он начнет восстанавливать прибыльную работу отдела, подвергается изучению руководством фирмы в целях принятия мер по ее улучшению.

Состояния системы будем для удобства нумеровать не одним, а двумя индексами; первый будет означать состояния первого трейдера (1 - работает с прибылью, 2 - его деятельность изучается руководством, 3 - восстанавливает прибыльную деятельность отдела); второй - те же состояния для второго трейдера. Например, s 23 будет означать: деятельность первого трейдера изучается, второй - восстанавливает прибыльную работу.

Возможные состояния системы S:

s u - деятельность обоих трейдеров приносит прибыль;

s l2 - первый трейдер работает с прибылью, деятельность второго изучается руководством компании;

5 13 - первый трейдер работает с прибылью, второй восстанавливает прибыльную деятельность отдела;

s 2l - деятельность первого трейдера изучается руководством, второй работает с прибылью;

s 22 - деятельность обоих трейдеров изучается руководством;

• 5 23 - работа первого трейдера изучается, второй трейдер восстанавливает прибыльную деятельность отдела;
• 5 31 - первый трейдер восстанавливает прибыльную деятельность отдела, второй работает с прибылью;
• 5 32 - прибыльная деятельность отдела восстанавливается первым трейдером, работа второго трейдера изучается;
• 5 33 - оба трейдера восстанавливают прибыльную работу своего отдела.

Всего девять состояний. Граф состояний показан на рис. 4.5.

Из определения марковского процесса, приведенного в п.5.1.6, а также непосредственно из формулы (5.6) следует

Условную плотность

называют плотностью вероятности перехода марковского процесса из состояния у в момент s в состояние х в момент t.

Используя формулу (2.57), определяем многомерную плотность вероятности (любого конечного порядка) марковского процесса

Формула (5.60) означает факторизацию многомерной плотности вероятности марковского процесса - представление ее в виде произведения одномерной плотности и плотностей вероятности перехода. Условие факторизации (5.60) многомерной плотности - характерная особенность марковских процессов (ср. с аналогичным более простым условием факторизации (5.4) для процессов с независимыми значениями).

Одномерная плотность и плотность вероятности перехода связаны соотношением

Плотность вероятности перехода марковского процесса не является произвольной условной функцией распределения, удовлетворяющей только обычным условиям неотрицательности и нормировки, т. е. . Она должна еще удовлетворять некоторому интегральному уравнению. Действительно, из (5.60) при имеем

Интегрируя обе части этого равенства по , получаем

и так как

Интегральное уравнение (5.62) называют уравнением Колмогорова - Чепмена.

5.4.2. Однородные марковские процессы.

Если распределение вероятностей марковского процесса инвариантно временному сдвигу, то его называют однородным (стационарным). В этом случае плотность вероятности перехода (5.59) зависит лишь от одного временного параметра .

Условие факторизации многомерной плотности однородного марковского процесса записывается в виде)[см. (5.60)]

Отметим, что класс однородных марковских процессов совпадает с рассмотренным классом однородных случайных процессов с независимыми приращениями.

5.4.3. Многосвязный марковский процесс.

Назовем марковский процесс -связным, если плотность вероятности перехода зависит от k предыдущих значений процесса [см. (5.58)]:

Условие факторизации многомерной плотности связного марковского процесса записывается в виде

а уравнение Колмогорова - Чепмена

5.4.4. Векторный марковский процесс.

Совокупность случайных процессов образует векторный марковский процесс, если для полного вероятностного описания этой совокупности необходимо и достаточно знать совместное распределение

и условное распределение

или соответствующую плотность вероятности перехода

Заменяя - (5.62) скалярные величины векторными, получаем соответствующие соотношения для векторного марковского процесса.

Каждый из случайных процессов принадлежащий совокупности, образующей векторный марковский процесс, называют компонентой векторного марковского процесса, которая, однако, не является скалярным марковским процессом, вообще говоря.

Отметим связь (векторного и многосвязного марковских процессов: -связную марковскую последовательность можно интерпретировать и как векторную (размера k) марковскую последовательность

5.4.5. Гауссовский марковский процесс.

Марковский процесс называют гауссовским, если его распределение подчиняется нормальному закону распределения вероятностей (см. п. 5.2.1). Как для любого гауссовского процесса, корреляционная функция гауссовского марковского процесса обеспечивает его полное вероятностное описание. Можно доказать, что случайный процесс является центрированным гауссовским марковским процессом тогда и только тогда, когда при его корреляционная функция удовлетворяет уравнению

Для однородного гауссовского марковского процесса условие (5.71) записывается при помощи нормированной корреляционной функции, зависящей, естественно, от одного аргумента

За исключением тривиального решения уравнение (5.72) имеет единственное решение

Таким образом, стационарный центрированный гауссовский процесс с дисперсией - марковский тогда и только тогда, когда его корреляционная функция (рис. 5.4)

или соответствующая спектральная плотность мощности процесса (рис. 5.5)

Из (5.74) и, соответственно, из (5.75) следует, что однородный гауссовский марковский процесс непрерывен в среднеквадратическом, но не дифференцируем в среднеквадратическом также задачу 5.6).

Рис. 5.4. Нормированная корреляционная функция однородного гауссовского марковского процесса

Рис. 5.5. Спектральная плотность мощности однородного гауссовского марковского процесса

5.4.6. Гауссовская марковская последовательность.

Пусть - последовательность центрированных гауссовских случайных величин с дисперсиями и коэффициентами корреляции Для того чтобы эта последовательность была марковской, необходимо и достаточно, чтобы

Для стационарной гауссовской марковской последовательности из (5.76) следует

где - коэффициент корреляции между двумя соседними членами последовательности.

Каждая подпоследовательность гауссовской марковской последовательности также гауссовская, марковская.

5.4.7. Дифференциальное уравнение для плотности вероятности перехода непрерывного марковского процесса.

Решение интегрального уравнения (5.62) Колмогорова - Чепмена представляет трудную задачу. Определение плотности вероятности перехода марковского процесса можно свести к решению дифференциального уравнения, если ограничиться непрерывными процессами. Марковский процесс называют непрерывным, если за малые промежутки времени лишь с малой вероятностью возможны заметные перемещения. Точнее говоря, это означает, что каково бы ни было

Реализации непрерывного марковского процесса с вероятностью единица непрерывны.

Из уравнения (5.62), полагая и изменяя обозначения переменных, получаем

Кроме того, очевидно, что

Из последних двух равенств следует

Предположим, что плотность вероятности перехода можно разложить в ряд Тейлора

Подставив (5.80) в (5.79), поделив обе части на и перейдя к пределу при получим

5.4.8. Диффузионные процессы.

Если функции конечны отлично от нуля и при , то непрерывный марковский процесс называется диффузионным. Из (5.81) следует, что плотность вероятности перехода диффузионного процесса удовлетворяет дифференциальному уравнению в частных производных

называемому обратным уравнением Колмогорова.

Аналогично можно доказать, что плотность вероятности перехода диффузионного процесса удовлетворяет и прямому уравнению Колмогорова:

коэффициент сноса, а

Коэффициент диффузии.

Прямое уравнение Колмогорова (5.84) известно так же, как уравнение Фоккера - Плавка. Уравнения (5.83) и (5.84) принадлежат к классу параболических дифференциальных в частных производных. В (5.83) переменными являются а переменные у и Т входят только в условие . В (5.84) переменными являются у и и t входят только через начальное условие . Методы решения уравнений Колмогорова рассмотрены, например, .

5.4.9. Стационарные диффузионные процессы.

Для стационарных диффузионных процессов коэффициенты сноса (5.85) и диффузии (5.86) не зависят от временного параметра, а плотность вероятности перехода зависит только от разности . Тогда из (5.84) получаем

с начальным условием

Если при существует предел плотности вероятности перехода, не зависящий от начального состояния то его называют предельной функцией распределения стационарного диффузного процесса

Из (5.88) следует, что . Поэтому предельную функцию распределения можно найти из обыкновенного дифференциального уравнения первого порядка

решение которого имеет вид

константы определяются из условия нормировки и граничного условия

5.4.10. Гауссовский диффузионный процесс.

Рассмотрим гауссовский стационарный случайный процесс с нулевым средним, дисперсией и нормированной корреляционной функцией . Условная плотность распределения этого случайного процесса [см. (2.74)]

Найдем для рассматриваемой условной плотности вероятности функции , ойределенные согласно (5.82):

(5.92)

где - значение производной при приближении к нулю справа. Если непрерывно в нуле, то Предположим, что терпит разрыв при . Тогда

Случайным процессом называется множество или семейство случайных величин, значения которых индексируются временным параметром. Например, число студентов в аудитории, атмосферное давление или температура в этой аудитории как функции времени являются случайными процессами.

Случайные процессы находят широкое применение при изучении сложных стохастических систем как адекватные математические модели процесса функционирования таких систем.

Основными понятиями для случайных процессов являются понятия состояния процесса иперехода его из одного состояния в другое.

Значения переменных, которые описывают случайный процесс, в данный момент времени называются состоянием случайного процесса . Случайный процесс совершает переход из одного состояния в другое, если значения переменных, задающих одно состояние, изменяются на значения, которые определяют другое состояние.

Число возможных состояний (пространство состояний) случайного процесса может быть конечным или бесконечным. Если число возможных состояний конечно или счетно (всем возможным состояниям могут быть присвоены порядковые номера), то случайный процесс называется процессом с дискретными состояниями . Например, число покупателей в магазине, число клиентов в банке в течение дня описываются случайными процессами с дискретными состояниями.

Если переменные, описывающие случайный процесс, могут принимать любые значения из конечного или бесконечного непрерывного интервала, а, значит, число состояний несчетно, то случайный процесс называется процессом с непрерывными состояниями . Например, температура воздуха в течение суток является случайным процессом с непрерывными состояниями.

Для случайных процессов с дискретными состояниями характерны скачкообразные переходы из одного состояния в другое, тогда, как в процессах с непрерывными состояниями переходы являются плавными. Далее будем рассматривать только процессы с дискретными состояниями, которых часто называют цепями .

Обозначим через g (t ) случайный процесс с дискретными состояниями, а возможные значенияg (t ), т.е. возможные состояния цепи, - через символыE 0 , E 1 , E 2 , … . Иногда для обозначения дискретных состояний используют числа 0, 1, 2,... из натурального ряда.

Случайный процесс g (t ) называетсяпроцессом с дискретным временем , если переходы процесса из состояния в состояние возможны только в строго определенные, заранее фиксированные моменты времениt 0 , t 1 , t 2 , … . Если переход процесса из состояния в состояние возможен в любой, заранее неизвестный момент времени, то случайный процесс называетсяпроцессом с непрерывным временем . В первом случае, очевидно, что интервалы времени между переходами являются детерминированными, а во втором - случайными величинами.

Процесс с дискретным временем имеет место либо, когда структура системы, которая описывается этим процессом, такова, что ее состояния могут изменяться только в заранее определенные моменты времени, либо когда предполагается, что для описания процесса (системы) достаточно знать состояния в определенные моменты времени. Тогда эти моменты можно пронумеровать и говорить о состоянии E i в момент времени t i .

Случайные процессы с дискретными состояниями могут изображаться в виде графа переходов (или состояний), в котором вершины соответствуют состояниям, а ориентированные дуги - переходам из одного состояния в другое. Если из состояния E i возможен переход только в одно состояниеE j , то этот факт на графе переходов отражается дугой, направленной из вершиныE i в вершинуE j (рис.1,а). Переходы из одного состояния в несколько других состояний и из нескольких состояний в одно состояние отражается на графе переходов, как показано на рис.1,б и 1,в.