Traiectoria aleatorie a unui punct ca proces Markov. Conceptul de procese aleatoare Markov. procese stocastice Markov

A cărui evoluție după orice valoare dată a parametrului de timp t (\displaystyle t) nu depinde din evoluţia care a precedat t (\displaystyle t), cu condiția ca valoarea procesului în acest moment să fie fixă ​​(„viitorul” procesului nu depinde de „trecut” cu „prezentul” cunoscut; o altă interpretare (Wentzel): „viitorul” procesului depinde pe „trecut” numai prin „prezent”).

YouTube enciclopedic

1 / 3

✪ Cursul 15: Procese Stochastice Markov

✪ Originea lanțurilor Markov

✪ Modelul procesului Markov generalizat

Subtitrări

Poveste

Proprietatea care definește un proces Markov este de obicei numită proprietate Markov; a fost formulat pentru prima dată de A.A. variabile aleatoare. Această linie de cercetare este cunoscută sub numele de teoria lanțurilor Markov.

Bazele teorie generală Procesele Markov cu timp continuu au fost stabilite de Kolmogorov.

proprietatea Markov

Caz general

Lăsa (Ω, F, P) (\displaystyle (\Omega,(\mathcal (F)),\mathbb (P)))- spațiu de probabilitate cu filtrare (F t , t ∈ T) (\displaystyle ((\mathcal (F))_(t),\t\in T)) peste un set (parțial ordonat). T (\displaystyle T); lăsați-l să plece (S, S) (\displaystyle (S,(\mathcal (S))))- spațiu măsurabil. proces aleatoriu X = (X t , t ∈ T) (\displaystyle X=(X_(t),\t\in T)), definit pe spațiul de probabilitate filtrat, este considerat a satisface proprietatea Markov dacă pentru fiecare A ∈ S (\displaystyle A\in (\mathcal (S)))Și s , t ∈ T: s< t {\displaystyle s,t\in T:s,

procesul Markov este un proces aleatoriu care satisface proprietatea Markov cu filtrare naturală.

Pentru lanțuri Markov cu timp discret

Dacă S (\displaystyle S) este o mulţime discretă şi T = N (\displaystyle T=\mathbb (N) ), definiția poate fi reformulată:

Un exemplu de proces Markov

Luați în considerare un exemplu simplu de proces stocastic Markov. Un punct se deplasează aleatoriu de-a lungul axei x. La momentul zero, punctul este la origine și rămâne acolo timp de o secundă. O secundă mai târziu, se aruncă o monedă - dacă stema a căzut, atunci punctul X se mișcă cu o unitate de lungime la dreapta, dacă numărul - la stânga. O secundă mai târziu, moneda este aruncată din nou și se face aceeași mișcare aleatorie și așa mai departe. Procesul de schimbare a poziției unui punct („rătăcire”) este un proces aleatoriu cu timp discret (t=0, 1, 2, ...) și un set numărabil de stări. Un astfel de proces aleatoriu se numește Markovian, deoarece următoarea stare a unui punct depinde numai de starea prezentă (actuală) și nu depinde de stările trecute (nu contează în ce direcție și pentru ce timp punctul a ajuns la coordonata curentă) .

procese aleatorii Markov.

Să presupunem că trebuie să studiem un „sistem fizic” S(al cărui proces de funcționare poate fi descris în mod explicit), care își poate schimba starea în timp (tranziții de la o stare la alta) într-un mod necunoscut anterior, aleatoriu. Orice poate fi înțeles ca un „sistem fizic”: un dispozitiv tehnic, un grup de astfel de dispozitive, o întreprindere, o industrie, un organism viu, o populație și așa mai departe.

Presupunem că sistemul studiat S poate fi descris de un set de stări posibile, cunoscute anterior ale sistemului Si, care poate fi determinată pe baza „naturei fizice” a procesului de funcționare a sistemului studiat, i.e. .

- i Starea sistemului depinde de k parametrii.

De remarcat faptul că trecerea de la stat S eu să afirm S j este stocastică. Începem să luăm în considerare funcționarea sistemului din starea inițială S 0 , care corespunde timpului t 0 . Adică ceea ce sa întâmplat cu sistemul înainte de momentul t 0 se referă la „trecutul său”, la preistorie.

Definiție: Un proces aleatoriu dintr-un sistem se numește proces Markov dacă pentru orice moment de timp t 0 caracteristicile probabilistice ale procesului în viitor depind numai de starea acestuia în momentul de față t 0 și nu depind de când și cum a ajuns sistemul în această stare.

Presupunem că starea sistemului este descrisă de funcție S(t), argumentul acestei funcții este timpul t continuu se cunosc momentele de timp ale trecerii sistemului de la o stare la alta t: t 1 <t 2 < … <t n. Mai mult, trecerea de la o stare la alta are loc „salt”, aproape instantaneu.

Am ajuns la concluzia că procesul de funcționare a sistemului este asociat cu un lanț de stări discrete: S 1® S 2 ® … ® S n-1® S n (trecerea succesivă de la o stare la alta, fără a „sări” prin vreo stare). Adică, sistemul luat în considerare este descris printr-un proces aleator Markov cu stări discrete și timp continuu.

Știm din teoria probabilității că funcția densității probabilității pentru n-a stare se caută ca funcţie de densitate comună pentru întreaga „preistorie” a procesului de venire a sistemului în această stare: .

În practică, procesele Markov nu au loc în forma lor pură, dar de multe ori trebuie să se ocupe de procese pentru care influența preistoriei poate fi neglijată. Când se studiază astfel de procese, pot fi utilizate modele Markov.

Când se consideră procesul ca unul Markov, descrierea analitică a modelului este simplificată, deoarece presupunem că starea sistemului depinde doar de o stare anterioară: .

Lanțurile Markov sunt definite de un set de stări bine definite: . În funcție de când și cum au loc „tranzițiile”, lanțurile Markov sunt împărțite în discrete, pentru care timpul de tranziție de la o stare la alta este fix și este determinat de probabilitatea acestei tranziții și continue, pentru care stările sunt discrete, timpul este continuu si trecerile de la o stare la alta au loc la intamplare, necunoscute dinainte, momente de timp.

Când se analizează procese aleatoare cu stări discrete, este convenabil să se folosească o schemă geometrică - așa-numitul grafic de stare.

Definiție. Un grafic este o colecție de mai multe vârfuri Vși mulțimea de perechi ordonate de vârfuri A={(A 1 A i)( A 2 A j) … ), ale căror elemente se numesc muchii G(V,A).

Stările sistemului sunt asociate cu vârfurile graficului, iar tranzițiile de la o stare la alta sunt asociate cu frânghiile care indică „direcția fluxului” a procesului.

În exemplul următor, vom lua în considerare o tehnică pentru studierea lanțurilor Markov folosind un grafic de stare etichetat.

Exemplul #1. TEA funcționarea tehnică a mașinii.

Un model TEA simplificat implică prezența a cel puțin patru dintre următoarele stări: S 1 - diagnosticarea stării mașinii, S 2 - lucru pe linie (mașina este în stare bună), S 3 - întreținere, S 4 - depanare (reparare).

Graficul etichetat corespunzător sistemului dat

m ij este densitatea probabilității de tranziție din starea S i a afirma S j (Si® Sj), Unde P ij(D t) este probabilitatea ca această tranziție să se producă în intervalul de timp Dt.

Pentru valori mici ale lui Dt, următoarea egalitate aproximativă este adevărată.

Probabilitățile de tranziție sunt determinate din sistemul de ecuații diferențiale (Kolmogorov) conform următoarelor reguli:

1) fiecărui vârf i se atribuie o stare corespunzătoare, descrisă de probabilitatea ca sistemul să se afle în el, deci numărul de stări determină numărul de ecuații din sistem;

2) în partea stângă a ecuației - derivata probabilității stării corespunzătoare;

3) există tot atâtea termeni în partea dreaptă câte tranziții (ramuri) există în graficul etichetat asociat cu starea dată;

4) fiecare element din partea dreaptă este egal cu produsul dintre densitatea de probabilitate a tranziției și densitatea de probabilitate a stării din care a fost făcută tranziția;

5) în partea dreaptă cu semnul „+” există elemente (adunate) care descriu intrarea sistemului în această stare, iar cu semnul „-” (scăzut) elemente care descriu „ieșirea” sistemului din aceasta. stat;

6) pentru a simplifica „solubilitatea”, în sistem este introdusă o ecuație de normalizare care descrie grupul complet de evenimente: , unde N este numărul de vârfuri din graficul de stare etichetat.

Acest sistem de ecuații va fi mai ușor de rezolvat în cazul în care descrie procesul staționar de funcționare a sistemului tehnic studiat (de obicei, intrarea sistemului în modul staționar de funcționare durează de la 2 la 4 cicluri).

În practică, considerăm că ipoteza staționarității funcționării sistemului este justificată dacă timpul de funcționare a sistemului în ansamblu este cu un ordin de mărime mai mare decât (20¸40)×cicluri de funcționare a sistemului („pasaj unic succesiv” prin ramurile graficului).

Staționaritatea modului de funcționare implică egalitatea la zero a derivatelor temporale ale probabilităților de stare, i.e. .

iar rezolvarea lui nu mai este dificilă.

Sistemul de ecuații conform lui Kolmogorov permite rezolvarea problemei găsirii probabilităților pentru modul staționar (probabilități finale) din densitățile de probabilitate cunoscute ale tranzițiilor de-a lungul ramurilor graficului, precum și a problemei inverse, i.e. găsirea densităților de probabilitate pentru probabilități finale date.

Exemplul #2.

Luați în considerare un sistem tehnic S, format din două noduri paralele (două posturi la benzinării, două mașini de umplere la benzinării). Vom presupune că tranzițiile sistemului de la o stare la alta au loc instantaneu, la momente aleatorii. De îndată ce nodul se defectează, acesta vine „instantaneu” pentru reparație și, după ce-l aduce în stare de funcționare, începe și „instantaneu” să fie folosit.

Credem că acest sistem este complet descris de doar patru stări: S 0 - ambele noduri sunt operaționale; S 1 - primul nod este reparat, al doilea este reparabil; S 2 - al doilea nod este reparat, primul este reparabil; S 3 - ambele noduri sunt în curs de reparare.

l 1 , l 2 este densitatea probabilității de defecțiune a primului și celui de-al doilea post, m 1 , m 2 – densitatea de probabilitate de restaurare a primului și respectiv al doilea nod.

Să compunem un sistem de ecuații diferențiale după Kolmogorov pentru probabilitățile stărilor acestui sistem.

Pentru a rezolva ecuațiile Kolmogorov și a găsi valori numerice pentru probabilitățile stărilor corespunzătoare, este necesar să se stabilească condițiile inițiale.

Vom presupune că la momentul inițial de timp ambele noduri ale sistemului studiat sunt operaționale, sistemul este în starea S 0 , adică. P 0 (t=0)=1, iar toate celelalte probabilități inițiale sunt egale cu zero: P 1 (0)=P 2 (0)=P 3 (0)=0.

Acest sistem de ecuații este ușor de rezolvat dacă sistemul funcționează într-o stare staționară și toate procesele care au loc în el sunt staționare.

Staționaritatea modului de funcționare implică egalitatea la zero a derivatelor temporale ale probabilităților de stare, adică, i=1, 2, … , n, , Unde n este numărul de stări posibile. Și ținând cont de întregul grup de evenimente, se adaugă ecuația

Ultima, așa-numita condiție de normalizare, permite excluderea uneia dintre ecuații din sistem...

Să rezolvăm acest sistem cu următoarele date: l 1 =1, l 2 =2, m 1 =2, m 2=3. Să scriem sistemul fără a patra ecuație.

Rezolvându-le, obținem: P 0 =0,4; P 1 =0,2; P 2 @0,27; P 3 @0,13.

Acestea. în modul staționar, sistemul nostru va fi într-o stare de S 0 - ambele noduri sunt sănătoase etc.

Valorile acestor probabilități finale pot ajuta la estimarea eficienței medii a sistemului și a sarcinii organelor de reparare. Să presupunem că sistemul S capabil S 0 generează un venit de 8 unități convenționale (uc) pe unitatea de timp, în stat S 1 3c.u., în S 2 5c.u., dar capabil S 3 nu generează venituri.

Multe operațiuni care trebuie analizate la alegerea soluției optime se dezvoltă ca procese aleatorii care depind de o serie de factori aleatori.

Pentru descrierea matematică a multor operații care se dezvoltă sub forma unui proces aleatoriu, se poate aplica cu succes aparatul matematic dezvoltat în teoria probabilității pentru așa-numitele procese aleatoare Markov.

Să explicăm conceptul unui proces aleator Markov.

Să existe un sistem S, a cărui stare se modifică în timp (în cadrul sistemului S orice poate fi înțeles: o întreprindere industrială, un dispozitiv tehnic, un atelier de reparații etc.). Dacă starea sistemului S schimbări în timp într-un mod aleatoriu, imprevizibil, ei spun că în sistem S scurgeri proces aleatoriu.

Exemple de procese aleatorii:

fluctuațiile de preț pe bursă;

serviciu pentru clienți într-o coaforă sau atelier de reparații;

îndeplinirea planului de aprovizionare a grupului de întreprinderi etc.

Cursul specific al fiecăruia dintre aceste procese depinde de o serie de factori aleatori, imprevizibili, cum ar fi:

primirea pe bursa de stiri imprevizibile despre schimbarile politice;

natura aleatorie a fluxului de aplicații (cerințe) venite de la clienți;

întreruperi ocazionale în îndeplinirea planului de aprovizionare etc.

DEFINIȚIE. Procesul aleatoriu din sistem este numit Markovian(sau proces fără consecințe) dacă are următoarea proprietate: pentru fiecare moment de timp t 0 probabilitatea oricărei stări a sistemului în viitor (at t > t0) depinde doar de starea sa în prezent (cu t = t0)și nu depinde de când și cum a ajuns sistemul în această stare (adică, cum s-a dezvoltat procesul în trecut).

Cu alte cuvinte, într-un proces aleatoriu Markov, dezvoltarea sa viitoare depinde numai de starea prezentă și nu depinde de „preistoria” procesului.

Luați în considerare un exemplu. Lasă sistemul S reprezintă o bursă care există de ceva timp. Suntem interesați de modul în care sistemul va funcționa în viitor. Este clar, cel puțin ca primă aproximare, că caracteristicile performanței viitoare (probabilitățile de scădere a prețurilor anumitor acțiuni într-o săptămână) depind de starea sistemului în acest moment (o varietate de factori precum deciziile guvernamentale sau rezultatele alegerilor pot interveni aici) și nu depind de când și cum sistemul a ajuns în starea actuală (nu depinde de natura mișcării prețului acestor acțiuni în trecut).

În practică, se întâlnesc adesea procese aleatorii care, cu unul sau altul grad de aproximare, pot fi considerate markoviane.

Teoria proceselor aleatoare Markov are o gamă largă de aplicații diferite. Vom fi interesați în principal de aplicarea teoriei proceselor aleatorii Markov la construirea de modele matematice de operații, al căror curs și rezultat depind în mod esențial de factori aleatori.

Procesele aleatoare Markov sunt subdivizate în claseîn funcţie de cum şi în ce momente de timp sistemul S" îşi poate schimba stările.

DEFINIȚIE. Procesul aleatoriu este numit proces cu stări discrete, dacă stările posibile ale sistemului s x , s 2 , s v... pot fi enumerate (numerotate) una după alta, iar procesul în sine constă în faptul că din când în când sistemul S sare (instantaneu) de la o stare la alta.

De exemplu, dezvoltarea proiectelor S realizate în comun de două departamente, fiecare dintre ele putând greși. Sunt posibile următoarele stări ale sistemului:

5, - ambele compartimente functioneaza normal;

s 2 - primul departament a greșit, al doilea funcționează bine;

s 3 - al doilea departament a greșit, primul funcționează bine;

s 4 Ambele departamente au făcut o greșeală.

Procesul care are loc în sistem este că în anumite momente trece aleatoriu („sare”) de la o stare la alta. Sistemul are patru stări posibile în total. În fața noastră este un proces cu stări discrete.

Pe lângă procesele cu stări discrete, există procese aleatorii cu stări continue: aceste procese sunt caracterizate printr-o tranziție graduală, lină de la stare la stare. De exemplu, procesul de schimbare a tensiunii în rețeaua de iluminat este un proces aleatoriu cu stări continue.

Vom lua în considerare numai procesele aleatoare cu stări discrete.

Când se analizează procese aleatoare cu stări discrete, este foarte convenabil să se folosească o schemă geometrică - așa-numitul grafic de stare. Graficul de statînfățișează geometric stările posibile ale sistemului și posibilele sale tranziții de la stare la stare.

Să existe un sistem S cu stări discrete:

Fiecare stare va fi reprezentată printr-un dreptunghi, iar posibilele tranziții („sărituri”) de la o stare la alta prin săgeți care leagă aceste dreptunghiuri. Un exemplu de grafic de stare este prezentat în fig. 4.1.

Rețineți că săgețile marchează doar tranzițiile directe de la stat la stat; dacă sistemul poate trece de la stare s2 la 5 3 numai prin s y apoi săgețile marchează doar tranzițiile s2-> și l, 1 -> 5 3 dar nu s2 -» s y Să ne uităm la câteva exemple:

1. Sistem S- o firmă care se poate afla într-una din cele cinci stări posibile: s]- lucreaza cu profit;

s2- a pierdut perspectiva dezvoltării și a încetat să facă profit;

5 3 - a devenit obiect pentru o eventuală preluare;

s4- este sub control extern;

s5- proprietatea societatii lichidate se vinde la licitatie.

Graficul de stare a firmei este prezentat în Fig. 4.2.

Orez. 4.2

• 2. Sistem S- o bancă cu două sucursale. Sunt posibile următoarele stări ale sistemului:
• 5, - ambele sucursale lucreaza cu profit;

s 2 - primul departament lucreaza fara profit, al doilea lucreaza cu profit;

5 3 - al doilea departament lucrează fără profit, primul lucrează cu profit;

s 4 - ambele sucursale functioneaza fara profit.

Se presupune că nu există nicio îmbunătățire a stării.

Graficul de stare este prezentat în fig. 4.3. Rețineți că graficul nu arată o posibilă tranziție de la stare s] direct către s 4, ceea ce se va împlini dacă banca pe loc va funcționa în pierdere. Posibilitatea unui astfel de eveniment poate fi neglijată, ceea ce este confirmat de practică.

Orez. 4.3

3. Sistem S- o societate de investiții formată din doi comercianți (departamente): I și II; fiecare dintre ei poate la un moment dat să înceapă să funcționeze în pierdere. Dacă se întâmplă acest lucru, atunci conducerea companiei ia imediat măsuri pentru a restabili activitatea profitabilă a departamentului.

Posibile stări ale sistemului: s- activitatea ambelor departamente este profitabilă; s2- se reface primul departament, al doilea lucreaza cu profit;

s3- primul departament lucreaza cu profit, al doilea se reface;

s4- ambele departamente sunt în curs de restaurare.

Graficul stării sistemului este prezentat în fig. 4.4.

4. In conditiile exemplului anterior, activitatea fiecarui comerciant, inainte de a incepe refacerea muncii profitabile a departamentului, este examinata de conducerea societatii pentru a lua masuri de imbunatatire a acesteia.

Pentru comoditate, vom numerota stările sistemului nu cu unul, ci cu doi indici; primul va însemna starea primului comerciant (1 - lucrează cu profit, 2 - activitatea sa este studiată de conducere, 3 - restabilește activitatea profitabilă a departamentului); al doilea - aceleași stări pentru al doilea comerciant. De exemplu, s 23 va însemna: activitatea primului comerciant este în studiu, al doilea este refacerea muncii profitabile.

Stări posibile ale sistemului S:

s u- activitatea ambilor comercianti realizeaza profit;

s l2- primul comerciant lucreaza cu profit, activitatea celui de-al doilea este studiata de conducerea firmei;

5 13 - primul comerciant lucrează cu profit, al doilea restabilește activitatea profitabilă a departamentului;

s2l- activitatea primului comerciant este studiată de conducere, al doilea lucrează cu profit;

s 22 - activitatea ambilor comercianti este studiata de catre conducere;

• 5 23 - se studiază munca primului comerciant, al doilea comerciant reface activitatea profitabilă a departamentului;
• 5 31 - primul comerciant reface activitatea profitabilă a departamentului, al doilea lucrează cu profit;
• 5 32 - activitatea profitabilă a departamentului se reface de către primul comerciant, se studiază munca celui de-al doilea comerciant;
• 5 33 - ambii comercianți refac munca profitabilă a departamentului lor.

Sunt nouă state în total. Graficul de stare este prezentat în fig. 4.5.

Din definiția unui proces Markov dată în secțiunea 5.1.6, precum și direct din formula (5.6), rezultă

Densitatea condiționată

se numește densitatea de probabilitate a tranziției procesului Markov de la starea y la momentul s la starea x la momentul t.

Folosind formula (2.57), determinăm densitatea de probabilitate multidimensională (de orice ordin finit) a procesului Markov

Formula (5.60) înseamnă factorizarea densității de probabilitate multidimensională a unui proces Markov - reprezentarea sa ca produs al unei densități unidimensionale și al densităților de probabilitate de tranziție. Condiția de factorizare (5.60) a unei densități multidimensionale este o trăsătură caracteristică proceselor Markov (comparați cu condiția de factorizare mai simplă similară (5.4) pentru procesele cu valori independente).

Densitatea unidimensională și densitatea probabilității de tranziție sunt legate prin relație

Densitatea de probabilitate de tranziție a unui proces Markov nu este o funcție de distribuție condiționată arbitrară care satisface doar condițiile obișnuite de non-negativitate și normalizare, adică . Încă trebuie să satisfacă o ecuație integrală. Într-adevăr, din (5.60) căci avem

Integrând ambele părți ale acestei egalități peste , obținem

iar din moment ce

Ecuația integrală (5.62) se numește ecuația Kolmogorov-Chapman.

5.4.2. Procese Markov omogene.

Dacă distribuția de probabilitate a procesului Markov este invariantă față de schimbarea în timp, atunci se numește omogenă (staționară). În acest caz, densitatea probabilității de tranziție (5.59) depinde de un singur parametru de timp .

Condiția de factorizare pentru densitatea multidimensională a unui proces Markov omogen se scrie sub forma) [vezi. (5,60)]

Rețineți că clasa proceselor omogene Markov coincide cu clasa considerată a proceselor aleatoare omogene cu incremente independente.

5.4.3. Procesul Markov multiconectat.

Numim un proces Markov -conectat dacă densitatea probabilității de tranziție depinde de k valorile anterioare ale procesului [vezi (5,58)]:

Condiția de factorizare pentru densitatea multidimensională a unui proces Markov conectat este scrisă ca

și ecuația Kolmogorov-Chapman

5.4.4. Procesul Vector Markov.

Un set de procese aleatoare formează un proces Markov vectorial dacă pentru o descriere probabilistică completă a acestei mulțimi este necesară și suficientă cunoașterea distribuției comune.

și distribuția condiționată

sau densitatea de probabilitate de tranziție corespunzătoare

Înlocuind - (5.62) mărimi scalare cu cele vectoriale, obținem relațiile corespunzătoare pentru procesul vectorial Markov.

Fiecare dintre procesele aleatoare aparținând colecției care formează procesul vectorial Markov este numit o componentă a procesului Markov vectorial, care, totuși, nu este un proces Markov scalar în general.

De remarcat conexiunea dintre (vector și procesele Markov conectate în multiplicare: -secvența Markov conectată poate fi interpretată și ca un vector (de dimensiunea k) secvența Markov

5.4.5. Procesul Gaussian Markov.

Un proces Markov se numește Gaussian dacă distribuția sa respectă legea distribuției normale a probabilității (vezi Secțiunea 5.2.1). Ca și pentru orice proces gaussian, funcția de corelare a procesului Gaussian Markov oferă descrierea probabilistică completă a acestuia. Se poate dovedi că un proces aleatoriu este un proces Gaussian Markov centrat dacă și numai dacă pentru , funcția sa de corelare satisface ecuația

Pentru un proces Gaussian Markov omogen, condiția (5.71) este scrisă folosind funcția de corelație normalizată, care depinde în mod natural de un argument

Cu excepția soluției triviale, ecuația (5.72) are o soluție unică

Astfel, un proces gaussian staționar centrat cu dispersie este unul Markov dacă și numai dacă funcția sa de corelare (Fig. 5.4)

sau densitatea spectrală de putere corespunzătoare a procesului (Fig. 5.5)

Din (5.74) și, respectiv, din (5.75) rezultă că procesul omogen Gaussian Markov este continuu în pătratul mediu, dar problema 5.6 nu este diferențiabilă nici în pătratul mediu.

Orez. 5.4. Funcția de corelație normalizată a unui proces Markov Gaussian omogen

Orez. 5.5. Densitatea spectrală de putere a unui proces Markov Gaussian omogen

5.4.6. Secvența lui Gaussian Markov.

Fie o secvență de variabile aleatoare gaussiene centrate cu varianțe și coeficienți de corelație Pentru ca această secvență să fie markoviană, este necesar și suficient ca

Pentru o secvență staționară Gaussiană a lui Markov, rezultă din (5.76)

unde este coeficientul de corelație dintre doi membri adiacenți ai secvenței.

Fiecare subsecvență a unei secvențe de Markov Gaussian este, de asemenea, Gaussian, un Markovian.

5.4.7. Ecuație diferențială pentru densitatea probabilității de tranziție a unui proces Markov continuu.

Rezolvarea ecuației integrale (5.62) Kolmogorov - Chapman este o sarcină dificilă. Determinarea densității probabilității de tranziție a unui proces Markov poate fi redusă la rezolvarea unei ecuații diferențiale, dacă ne restrângem la procese continue. Se spune că un proces Markov este continuu dacă mișcări apreciabile sunt posibile doar cu o probabilitate mică pe intervale scurte de timp. Mai precis, asta înseamnă că orice

Realizările unui proces Markov continuu cu probabilitatea unu sunt continue.

Din ecuația (5.62), stabilind și schimbând notația variabilelor, obținem

Mai mult, este evident că

Din ultimele două egalități rezultă

Să presupunem că densitatea probabilității de tranziție poate fi extinsă într-o serie Taylor

Înlocuind (5.80) în (5.79), împărțind ambele părți la și trecând la limita de la , obținem

5.4.8. procesele de difuzie.

Dacă funcțiile sunt finite, altele decât zero și pentru , atunci un proces Markov continuu se numește proces de difuzie. Din (5.81) rezultă că densitatea de probabilitate a tranziției procesului de difuzie satisface ecuația diferențială în derivate parțiale

numită ecuația inversă a lui Kolmogorov.

În mod similar, putem demonstra că densitatea de probabilitate a tranziției procesului de difuzie satisface și ecuația directă a lui Kolmogorov:

coeficientul de deriva și

coeficientul de difuzie.

Ecuația directă a lui Kolmogorov (5.84) este cunoscută în același mod ca și ecuația Fokker-Plavka. Ecuațiile (5.83) și (5.84) aparțin clasei de ecuații cu diferențe parțiale parabolice. În (5.83) variabilele sunt și variabilele y și T sunt incluse numai în condiția . În (5.84) variabilele sunt y și și t intră numai prin condiția inițială . Sunt luate în considerare, de exemplu, metodele de rezolvare a ecuațiilor Kolmogorov.

5.4.9. Procese de difuzie staționară.

Pentru procesele de difuzie staționară, coeficienții de deriva (5.85) și difuzia (5.86) nu depind de parametrul de timp, iar densitatea probabilității de tranziție depinde doar de diferență. Apoi de la (5.84) obținem

cu starea initiala

Dacă la există o limită a densității probabilității de tranziție care nu depinde de starea inițială, atunci se numește funcție de distribuție limită a unui proces difuz staționar

Din (5.88) rezultă că . Prin urmare, funcția de distribuție limită poate fi găsită din ecuația diferențială ordinară de ordinul întâi

a cărui soluţie are forma

constantele sunt determinate din condiția de normalizare și din condiția de limită

5.4.10. Procesul de difuzie gaussian.

Să considerăm un proces aleator staționar gaussian cu medie zero, varianță și funcție de corelație normalizată. Densitatea de distribuție condiționată a acestui proces aleatoriu [vezi. (2,74)]

Să găsim pentru densitatea de probabilitate condiționată luată în considerare funcțiile definite conform (5.82):

(5.92)

unde este valoarea derivatei când se apropie de zero din dreapta. Dacă este continuă la zero, atunci Să presupunem că suferă o discontinuitate la . Apoi

Un proces aleator este un set sau o familie de variabile aleatoare ale căror valori sunt indexate de un parametru de timp. De exemplu, numărul de elevi dintr-o sală de clasă, presiunea atmosferică sau temperatura din acea clasă în funcție de timp sunt procese aleatorii.

Procesele aleatorii sunt utilizate pe scară largă în studiul sistemelor stocastice complexe ca modele matematice adecvate ale funcționării unor astfel de sisteme.

Conceptele de bază pentru procesele aleatorii sunt conceptele starea procesuluiȘi tranziție el de la o stare la alta.

Sunt numite valorile variabilelor care descriu procesul aleatoriu la un moment dat statAleatoriuproces. Un proces aleatoriu face o tranziție de la o stare la alta dacă valorile variabilelor care definesc o stare se schimbă în valorile care definesc o altă stare.

Numărul de stări posibile (spațiul de stări) ale unui proces aleatoriu poate fi finit sau infinit. Dacă numărul de stări posibile este finit sau numărabil (numerele secvențiale pot fi atribuite tuturor stărilor posibile), atunci procesul aleatoriu se numește proces de stare discretă. De exemplu, numărul de clienți dintr-un magazin, numărul de clienți dintr-o bancă în timpul zilei sunt descrise prin procese aleatorii cu stări discrete.

Dacă variabilele care descriu un proces aleatoriu pot lua orice valoare dintr-un interval continuu finit sau infinit și, prin urmare, numărul de stări este de nenumărat, atunci procesul aleator se numește proces continuu de stare. De exemplu, temperatura aerului în timpul zilei este un proces aleatoriu cu stări continue.

Pentru procesele aleatoare cu stări discrete, tranzițiile bruște de la o stare la alta sunt caracteristice, în timp ce în procesele cu stări continue, tranzițiile sunt netede. În plus, vom lua în considerare numai procesele cu stări discrete, care sunt adesea numite lanţuri.

Notează prin g(t) proces aleatoriu cu stări discrete și valori posibile g(t), adică stări posibile ale circuitului, - prin simboluri E 0 , E 1 , E 2 , … . Uneori numerele 0, 1, 2, ... din seria naturală sunt folosite pentru a desemna stări discrete.

proces aleatoriu g(t) se numește procesCudiscrettimp, dacă tranzițiile procesului de la stare la stare sunt posibile numai la momente strict definite, prefixate t 0 , t 1 , t 2 , … . Dacă tranziția unui proces de la stare la stare este posibilă în orice moment necunoscut anterior, atunci se numește proces aleatoriu procescu continuutimp. În primul caz, este evident că intervalele de timp dintre tranziții sunt deterministe, iar în al doilea - variabile aleatorii.

Un proces cu timp discret are loc fie atunci când structura sistemului descrisă de acest proces este de așa natură încât stările sale se pot schimba numai în momente predeterminate de timp, fie când se presupune că pentru a descrie procesul (sistemul) este suficient. să cunoască stările în anumite momente în timp. Atunci aceste momente pot fi numerotate și vorbesc despre stat E i la momentul t i .

Procesele aleatoare cu stări discrete pot fi reprezentate ca un grafic de tranziții (sau stări), în care vârfurile corespund stărilor, iar arcele orientate corespund tranzițiilor de la o stare la alta. Dacă în afara statului E i este posibilă doar o singură tranziție de stare E j, atunci acest fapt este reflectat pe graficul de tranziție printr-un arc îndreptat de la vârf E iîn partea de sus E j(Fig. 1a). Tranzițiile de la o stare la mai multe stări și de la mai multe stări la o stare sunt reflectate în graficul de tranziție, așa cum se arată în Fig. 1b și 1c.