Марков процесі ретінде нүктенің кездейсоқ траекториясы. Марковтың кездейсоқ процестері туралы түсінік. Марковтың стохастикалық процестері

Уақыт параметрінің кез келген берілген мәнінен кейін оның эволюциясы t (\displaystyle t) тәуелді емесалдындағы эволюциядан t (\displaystyle t), осы сәттегі процестің мәні бекітілген жағдайда («процестің болашағы» белгілі «қазіргі» бар «өткенге» тәуелді емес; басқа интерпретация (Вентцель): процестің «болашағы» байланысты «өткен» туралы тек «қазіргі» арқылы).

Энциклопедиялық YouTube

1 / 3

✪ 15-дәріс: Марков Стохастикалық процестер

✪ Марков тізбектерінің шығу тегі

✪ Жалпыланған Марков процесінің моделі

Субтитрлер

Оқиға

Марков процесін анықтайтын қасиет әдетте Марков қасиеті деп аталады; оны алғаш рет тұжырымдаған А.А. кездейсоқ айнымалылар. Бұл зерттеу бағыты Марков тізбектерінің теориясы ретінде белгілі.

Негіздер жалпы теорияҮздіксіз уақытты Марков процестерін Колмогоров белгіледі.

Марковтың мүлкі

Жалпы жағдай

Болсын (Ω , F , P) (\displaystyle (\Омега ,(\маткал (F)),\mathbb (P)))- фильтрлеумен ықтималдық кеңістігі (F t , t ∈ T) (\displaystyle ((\маткал (F))_(t),\ t\in T))кейбір (ішінара реттелген) жиынтықта T (\displaystyle T); оны жібер (S , S) (\displaystyle (S,(\mathcal (S))))- өлшенетін кеңістік. кездейсоқ процесс X = (X t , t ∈ T) (\displaystyle X=(X_(t),\ t\in T)), сүзілген ықтималдық кеңістігінде анықталған, қанағаттандырады деп саналады Марковтың мүлкіегер әрқайсысы үшін A ∈ S (\displaystyle A\in (\матекал (S)))Және s , t ∈ T: s< t {\displaystyle s,t\in T:s,

Марков процесіқанағаттандыратын кездейсоқ процесс Марковтың мүлкітабиғи фильтрациямен.

Дискретті уақыты бар Марков тізбектері үшін

Егер S (\displaystyle S)дискретті жиын болып табылады және T = N (\displaystyle T=\mathbb (N) ), анықтаманы қайта тұжырымдауға болады:

Марков процесінің мысалы

Марковтың стохастикалық процесінің қарапайым мысалын қарастырайық. Нүкте x осінің бойымен кездейсоқ қозғалады. Нөлдік уақытта нүкте бастапқыда болады және бір секунд сол жерде қалады. Бір секундтан кейін монета лақтырылады - егер елтаңба құлап кетсе, онда Х нүктесі ұзындықтың бір бірлігін оңға, егер сан болса - солға жылжытады. Бір секундтан кейін монета қайтадан лақтырылады және сол кездейсоқ қозғалыс жасалады және т.б. Нүктенің орнын өзгерту процесі («кезбе») – дискретті уақыты (t=0, 1, 2, ...) және күйлердің есептелетін жиыны бар кездейсоқ процесс. Мұндай кездейсоқ процесс Марковиялық деп аталады, өйткені нүктенің келесі күйі тек қазіргі (қазіргі) күйге тәуелді және өткен күйлерге тәуелді емес (нүктенің ағымдағы координатаға қай жолмен және қай уақытта жеткені маңызды емес) .

Марковтың кездейсоқ процестері.

Бізге қандай да бір «физикалық жүйені» зерттеу керек делік. С(қызмет ету процесі нақты сипатталуы мүмкін), ол уақыт өте келе өз күйін өзгерте алады (бір күйден екінші күйге өту) бұрын белгісіз, кездейсоқ жолмен. Кез келген нәрсені «физикалық жүйе» деп түсінуге болады: техникалық құрылғы, осындай құрылғылар тобы, кәсіпорын, өнеркәсіп, тірі организм, популяция және т.б.

Зерттелетін жүйе деп есептейміз Сжүйенің мүмкін, бұрын белгілі күйлерінің кейбір жиынтығымен сипатталуы мүмкін Си, зерттелетін жүйенің жұмыс істеу процесінің «физикалық табиғаты» негізінде анықталуы мүмкін, яғни. .

- менЖүйенің күйі мынаған байланысты кпараметрлері.

Айта кету керек, мемлекеттен көшу Сайтамын С j стохастикалық. Біз жүйенің жұмысын бастапқы күйінен бастап қарастыра бастаймыз С 0 , бұл уақытқа сәйкес келеді т 0 . Яғни, жүйенің t 0 уақытына дейін болғаны «оның өткеніне», оның тарихқа дейінгі кезеңіне жатады.

Анықтамасы: Жүйедегі кездейсоқ процесс, егер кез келген уақыт моментіне болса, Марков процесі деп аталады т 0 болашақтағы процестің ықтималдық сипаттамалары оның қазіргі кездегі күйіне ғана байланысты т 0 және жүйенің бұл күйге қашан және қалай келгеніне байланысты емес.

Жүйенің күйі функция арқылы сипатталады деп есептейміз С(т), бұл функцияның аргументі уақыт болып табылады түздіксіз, жүйенің бір күйден екінші күйге ауысуының уақыт нүктелері белгілі т: т 1 <т 2 < … <т n. Оның үстіне, бір күйден екінші күйге көшу «секіру» дерлік бірден орын алады.

Біз жүйенің жұмыс істеу процесі дискретті күйлер тізбегімен байланысты деген қорытындыға келдік: С 1® С 2 ® … ® С n-1® С n (бір күйден екінші күйге, кез келген күй арқылы «секіріп» өтпей-ақ дәйекті өту). Яғни, қарастырылып отырған жүйе дискретті күйлері және үздіксіз уақыты бар Марковтың кездейсоқ процесімен сипатталады.

Ықтималдықтар теориясынан біз ықтималдық тығыздығы функциясын білеміз n-ші күй жүйенің осы күйге келетін процесінің бүкіл «тарихқа дейінгі» үшін бірлескен тығыздық функциясы ретінде ізделеді: .

Іс жүзінде Марков процестері олардың таза түрінде болмайды, бірақ көбінесе тарихқа дейінгі әсерді елемеу мүмкін болатын процестермен айналысуға тура келеді. Мұндай процестерді зерттегенде Марков модельдерін қолдануға болады.

Процесті Марков әдісі ретінде қарастырғанда, модельдің аналитикалық сипаттамасы жеңілдетілген, өйткені жүйенің күйі тек бір алдыңғы күйге байланысты деп есептейміз: .

Марков тізбектері нақты анықталған күйлер жиынтығымен анықталады: . «Өтулер» қашан және қалай болатынына байланысты Марков тізбектері дискретті болып бөлінеді, олар үшін бір күйден екінші күйге өту уақыты бекітілген және осы ауысу ықтималдығымен анықталады және күйлер дискретті болып табылатын үздіксіз, уақыт үзіліссіз және бір күйден екінші күйге ауысу алдын ала белгісіз, кездейсоқ, уақыт моментінде болады.

Дискретті күйлері бар кездейсоқ процестерді талдау кезінде геометриялық схеманы – күй графигі деп аталатынды пайдалану ыңғайлы.

Анықтама. График - бұл көптеген төбелердің жиынтығы Вжәне төбелердің реттелген жұптарының жиыны А={(а 1 амен)( а 2 а j) … ), элементтері жиектер деп аталады Г(В,А).

Жүйенің күйлері графтың төбелерімен, ал бір күйден екінші күйге өтулер процестің «ағынының бағытын» көрсететін арқандармен байланысты.

Келесі мысалда таңбаланған күй графигі арқылы Марков тізбектерін зерттеу әдістемесін қарастырамыз.

№1 мысал. Автомобильді техникалық пайдалану ШАЙ.

Жеңілдетілген TEA үлгісі келесі күйлердің кем дегенде төртеуі болуын білдіреді: С 1 - автомобильдің күйін диагностикалау, С 2 - желіде жұмыс (автомобиль жақсы жағдайда), С 3 - техникалық қызмет көрсету, С 4 - ақауларды жою (жөндеу).

Берілген жүйеге сәйкес таңбаланған график

м ij – S күйінен өту ықтималдығының тығыздығы менайту С j (Си® S j), Қайда P ij(Д т) бұл ауысудың Dt уақыт аралығының ішінде орын алу ықтималдығы.

Dt-нің кіші мәндері үшін келесі жуық теңдік дұрыс болады.

Өтпелі ықтималдықтар дифференциалдық теңдеулер жүйесінен (Колмогоров) келесі ережелер бойынша анықталады:

1) әрбір шыңға жүйенің ондағы болу ықтималдығымен сипатталатын сәйкес күй тағайындалады, сондықтан күйлер саны жүйедегі теңдеулердің санын анықтайды;

2) теңдеудің сол жағында – сәйкес күйдің ықтималдығының туындысы;

3) берілген күймен байланысты таңбаланған графикте қанша өтулер (тармақтар) болса, оң жағында сонша термин бар;

4) оң жақтың әрбір элементі ауысудың ықтималдық тығыздығы мен ауысу жасалған күйдің ықтималдық тығыздығының көбейтіндісіне тең;

5) оң жағында «+» таңбасы бар (қосылған) жүйенің осы күйге кіруін сипаттайтын элементтер, ал «-» белгісімен жүйенің осыдан «шығуын» сипаттайтын элементтер (алып тасталды) мемлекет;

6) «шешімділікті» жеңілдету үшін жүйеге оқиғалардың толық тобын сипаттайтын нормалаушы теңдеу енгізіледі: , мұндағы N - белгіленген күй графигіндегі шыңдар саны.

Бұл теңдеулер жүйесін зерттелетін техникалық жүйенің стационарлық жұмыс процесін сипаттайтын жағдайда шешу оңайырақ болады (әдетте жүйенің стационарлық жұмыс режиміне кіруі 2-ден 4 циклге дейін созылады).

Тәжірибеде, егер жүйенің тұтастай жұмыс істеу уақыты (20¸40)×жүйенің жұмыс циклдарынан («кезекті» бір рет өтуден) жоғары болса, жүйе жұмысының стационарлылығы туралы болжам ақталды деп есептейміз. графиктің тармақтары).

Жұмыс режимінің стационарлылығы күй ықтималдықтарының уақыт бойынша туындыларының нөлге теңдігін білдіреді, яғни. .

және оның шешімі енді қиын емес.

Колмогоров бойынша теңдеулер жүйесі графиктің тармақтары бойынша өтулердің белгілі ықтималдық тығыздықтарынан стационарлық режим үшін ықтималдықтарды (соңғы ықтималдықтар) табу мәселесін, сондай-ақ кері есепті шешуге мүмкіндік береді, яғни. берілген соңғы ықтималдықтар үшін ықтималдық тығыздықтарын табу.

№2 мысал.

Техникалық жүйені қарастырыңыз С, екі параллель түйіннен тұрады (ТҚС екі пост, жанармай құю станцияларында екі жанармай құю машинасы). Жүйенің бір күйден екінші күйге ауысуы лезде, кездейсоқ уақытта болады деп есептейміз. Түйін істен шыққаннан кейін ол «бірден» жөндеуге келеді және оны жұмыс жағдайына келтіргеннен кейін ол «бірден» қолданыла бастайды.

Бұл жүйені тек төрт күй ғана сипаттайды деп есептейміз: С 0 - екі түйін де жұмыс істейді; С 1 - бірінші түйін жөнделуде, екіншісі жұмысқа жарамды; С 2 - екінші түйін жөнделуде, біріншісі жұмысқа жарамды; С 3 – екі түйін де жөнделуде.

л 1 , л 2 - бірінші және екінші посттың істен шығу ықтималдығы, м 1 , м 2 – сәйкесінше бірінші және екінші түйіндерді қалпына келтіру ықтималдығы тығыздығы.

Осы жүйенің күйлерінің ықтималдықтары үшін Колмогоров бойынша дифференциалдық теңдеулер жүйесін құрастырайық.

Колмогоров теңдеулерін шешу және сәйкес күйлердің ықтималдықтарының сандық мәндерін табу үшін бастапқы шарттарды қою керек.

Уақыттың бастапқы сәтінде зерттелетін жүйенің екі түйіні де жұмыс істейді, жүйе S 0 күйінде болады, яғни. П 0 (т=0)=1 және барлық басқа бастапқы ықтималдықтар нөлге тең: П 1 (0)=П 2 (0)=П 3 (0)=0.

Бұл теңдеулер жүйесі оңай шешіледі, егер жүйе стационарлық күйде жұмыс істесе және ондағы барлық процестер стационарлық болса.

Жұмыс режимінің стационарлылығы күй ықтималдықтарының уақыт бойынша туындыларының нөлге теңдігін білдіреді, яғни, мен=1, 2, … , n, , Қайда nмүмкін күйлердің саны болып табылады. Ал оқиғалардың толық тобын ескере отырып, теңдеу қосылады

Соңғы деп аталатын нормалау шарты теңдеулердің бірін жүйеден шығаруға мүмкіндік береді ...

Бұл жүйені келесі деректермен шешейік: л 1 =1, л 2 =2, м 1 =2, м 2=3. Жүйені төртінші теңдеусіз жазайық.

Оларды шеше отырып, біз аламыз: П 0 =0,4; П 1 =0,2; П 2 @0,27; П 3 @0,13.

Анау. стационарлық режимде жүйеміз күйде болады С 0 - екі түйін де сау және т.б.

Бұл соңғы ықтималдықтардың мәндері жүйенің орташа тиімділігін және жөндеу органдарының жүктемесін бағалауға көмектеседі. Жүйе деп есептейік Сжағдайда С 0 штатта уақыт бірлігінде 8 шартты бірлік (c.u.) кіріс әкеледі С 1 3c.u., в С 2 5c.u., бірақ қабілетті С 3 табыс әкелмейді.

Оңтайлы шешімді таңдау кезінде талдауға тура келетін көптеген операциялар кездейсоқ факторлардың санына тәуелді кездейсоқ процестер ретінде дамиды.

Кездейсоқ процесс түрінде дамитын көптеген операцияларды математикалық сипаттау үшін Марковтың кездейсоқ процестері деп аталатын ықтималдықтар теориясында жасалған математикалық аппаратты сәтті қолдануға болады.

Марковтық кездейсоқ процесс ұғымын түсіндірейік.

Бір жүйе болсын S,күйі уақыт өте келе өзгеретін (жүйе бойынша Скез келген нәрсені түсінуге болады: өнеркәсіптік кәсіпорын, техникалық құрылғы, жөндеу шеберханасы және т.б.). Жүйе күйі болса Суақытта кездейсоқ, болжауға болмайтын түрде өзгереді, олар жүйеде дейді Сағып кетеді кездейсоқ процесс.

Кездейсоқ процестердің мысалдары:

қор нарығындағы бағаның ауытқуы;

шаштаразда немесе жөндеу шеберханасында тұтынушыларға қызмет көрсету;

кәсіпорындар тобының жеткізу жоспарының орындалуы және т.б.

Осы процестердің әрқайсысының нақты барысы бірқатар кездейсоқ, болжауға болмайтын факторларға байланысты, мысалы:

қор нарығында саяси өзгерістер туралы күтпеген жаңалықтардың түсуі;

тұтынушылардан түсетін өтінімдер (талаптар) ағынының кездейсоқ сипаты;

жеткізу жоспарының орындалуындағы оқтын-оқтын үзілістер және т.б.

АНЫҚТАУ. Жүйедегі кездейсоқ процесс деп аталады Марковиан(немесе салдарсыз процесс) егер оның келесі қасиеті болса: уақыттың әрбір сәті үшін т 0 болашақта жүйенің кез келген күйінің ықтималдығы (сағ t > t0)оның қазіргі жағдайына ғана байланысты (мен t = t0)және жүйенің бұл күйге қашан және қалай келгеніне байланысты емес (яғни, процесс өткенде қалай дамыды).

Басқаша айтқанда, Марковтық кездейсоқ процесте оның болашақ дамуы тек қазіргі күйге байланысты және процестің «тарихқа дейінгі кезеңіне» тәуелді емес.

Мысал қарастырайық. Жүйеге рұқсат етіңіз Сбіраз уақыттан бері өмір сүріп келе жатқан қор нарығын білдіреді. Бізді жүйенің болашақта қалай жұмыс істейтіні қызықтырады. Кем дегенде, бірінші жуықтау ретінде, болашақ өнімділіктің сипаттамалары (бір аптада нақты акциялар бағасының төмендеуі ықтималдығы) жүйенің қазіргі жағдайына (үкімет шешімдері немесе басқа да факторлар сияқты әртүрлі факторлар) байланысты екені анық. сайлау нәтижелері осында араласуы мүмкін) және жүйенің қазіргі күйіне қашан және қалай жеткеніне байланысты емес (бұл акциялардың өткендегі баға қозғалысының сипатына байланысты емес).

Тәжірибеде кездейсоқ процестер жиі кездеседі, олар бір немесе басқа жуықтау дәрежесімен Марковиан деп санауға болады.

Марковтың кездейсоқ процестер теориясының қолдану аясы кең. Бізді негізінен Марковтың кездейсоқ процестер теориясын операциялардың математикалық модельдерін құруда қолдануы қызықтырады, олардың барысы мен нәтижесі кездейсоқ факторларға тәуелді болады.

Марковтың кездейсоқ процестері болып бөлінеді сыныптар S» жүйесі уақыттың қалай және қандай сәттерде өз күйлерін өзгерте алатынына байланысты.

АНЫҚТАУ. Кездейсоқ процесс деп аталады дискретті күйлермен процесс,жүйенің мүмкін күйлері болса s x , s 2 , s v... бірінен соң бірін тізбелеуге (нөмірлеуге) болады, ал процестің өзі мезгіл-мезгіл жүйенің Сбір күйден екінші күйге (лезде) секіреді.

Мысалы, жобаны әзірлеу Секі бөлім бірлесіп жүзеге асырады, олардың әрқайсысы қате жіберуі мүмкін. Келесі жүйе күйлері мүмкін:

5, - екі бөлім де қалыпты жұмыс істейді;

с 2 - бірінші бөлім қате жіберді, екіншісі жақсы жұмыс істейді;

с 3 - екінші бөлім қате жіберді, бірінші бөлім жақсы жұмыс істейді;

с 4 Екі бөлім де қателесті.

Жүйеде орын алатын процесс ол кездейсоқ түрде белгілі бір уақытта бір күйден күйге ауысады («секіреді»). Жүйеде барлығы төрт мүмкін күй бар. Біздің алдымызда дискретті күйлері бар процесс.

Дискретті күйлері бар процестерден басқа, бар үздіксіз күйлері бар кездейсоқ процестер: бұл процестер күйден күйге бірте-бірте, бірқалыпты өтуімен сипатталады. Мысалы, жарықтандыру желісіндегі кернеуді өзгерту процесі үздіксіз күйлері бар кездейсоқ процесс.

Біз тек дискретті күйлері бар кездейсоқ процестерді қарастырамыз.

Дискретті күйлері бар кездейсоқ процестерді талдау кезінде геометриялық схеманы – күй графигі деп аталатынды пайдалану өте ыңғайлы. Күй графигіжүйенің мүмкін күйлерін және оның күйден күйге ауысуын геометриялық түрде бейнелейді.

Жүйе болсын Сдискретті күйлермен:

Әрбір күй тіктөртбұрышпен, ал мүмкін ауысулар («секірулер») күйден күйге осы тіктөртбұрыштарды қосатын көрсеткілер арқылы көрсетіледі. Күй графигінің мысалы күріште көрсетілген. 4.1.

Көрсеткілер күйден күйге тікелей өтуді ғана белгілейтінін ескеріңіз; егер жүйе күйден шыға алатын болса s2тек 5 3 арқылы с жсодан кейін көрсеткілер тек өтулерді белгілейді s2-> және l, 1 -> 5 3 бірақ жоқ s2 -» с жБірнеше мысалды қарастырайық:

1. Жүйе С- мүмкін болатын бес мемлекеттің бірінде болатын фирма: с]- пайдамен жұмыс істейді;

s2- даму перспективасын жоғалтты және пайда табуды тоқтатты;

5 3 - ықтимал басып алу объектісіне айналды;

s4- сыртқы бақылауда болса;

s5- таратылатын серіктестіктің мүлкі аукционда сатылады.

Фирманың күй графигі суретте көрсетілген. 4.2.

Күріш. 4.2

• 2. Жүйе С- екі филиалы бар банк. Келесі жүйе күйлері мүмкін:
• 5, - екі филиал да пайдамен жұмыс істейді;

с 2 - бірінші бөлім пайдасыз жұмыс істейді, екіншісі пайдамен жұмыс істейді;

5 3 - екінші бөлім пайдасыз жұмыс істейді, бірінші бөлім пайдамен жұмыс істейді;

с 4 - екі филиал да пайдасыз жұмыс істейді.

Жағдайында жақсару жоқ деген болжам бар.

Күй графигі күріште көрсетілген. 4.3. График күйден ықтимал ауысуды көрсетпейтінін ескеріңіз с]тікелей s 4,бұл банк, егер орындалады лездешығынмен жұмыс істейтін болады. Мұндай оқиғаның мүмкіндігін елемеуге болады, бұл тәжірибемен расталады.

Күріш. 4.3

3. Жүйе С- екі трейдерден (бөлімшелерден) тұратын инвестициялық компания: I және II; олардың әрқайсысы белгілі бір уақытта шығынмен жұмыс істей бастайды. Егер бұл орын алса, онда компания басшылығы бөлімнің табысты жұмысын қалпына келтіру үшін дереу шаралар қабылдайды.

Ықтимал жүйе күйлері: с- екі бөлімнің де қызметі пайдалы; s2- бірінші бөлім қалпына келтірілді, екіншісі пайдамен жұмыс істейді;

s3- бірінші бөлім пайдамен жұмыс істейді, екіншісі қалпына келтірілді;

s4- екі бөлім де қалпына келтірілуде.

Жүйе күйінің графигі күріште көрсетілген. 4.4.

4. Алдыңғы мысалдың жағдайында әрбір трейдер бөлімнің пайдалы жұмысын қалпына келтіруді бастамас бұрын, оны жақсарту шараларын қабылдау үшін серіктестік басшылығымен тексеріледі.

Ыңғайлы болу үшін жүйенің күйлерін бір емес, екі индекспен нөмірлейміз; біріншісі бірінші трейдердің жағдайын білдіреді (1 - пайдамен жұмыс істейді, 2 - оның қызметін басшылық зерделеуде, 3 - бөлімнің пайдалы қызметін қалпына келтіреді); екіншісі – екінші трейдер үшін бірдей күйлер. Мысалы, с 23мынаны білдіреді: бірінші трейдердің қызметі зерттелуде, екіншісі - пайдалы жұмысты қалпына келтіру.

Ықтимал жүйе күйлері S:

с у- екі саудагердің де қызметі пайда әкеледі;

s l2- бірінші трейдер пайдамен жұмыс істейді, екіншісінің қызметін компания басшылығы зерттейді;

5 13 - бірінші трейдер пайдамен жұмыс істейді, екіншісі бөлімнің пайдалы қызметін қалпына келтіреді;

s2l- бірінші саудагердің қызметін басшылық зерттесе, екіншісі пайдамен жұмыс істейді;

с 22 - екі саудагердің де қызметін басшылық зерттейді;

• 5 23 - бірінші трейдердің жұмысы зерттелуде, екінші трейдер бөлімнің табысты қызметін қалпына келтіруде;
• 5 31 - бірінші трейдер бөлімнің пайдалы қызметін қалпына келтірсе, екіншісі пайдамен жұмыс істейді;
• 5 32 - бірінші трейдер бөлімнің табысты қызметі қалпына келтірілді, екінші трейдердің жұмысы зерттелуде;
• 5 33 - екі трейдер де өз бөлімшелерінің пайдалы жұмысын қалпына келтіреді.

Барлығы тоғыз штат бар. Күй графигі күріште көрсетілген. 4.5.

5.1.6 бөлімінде берілген Марков процесінің анықтамасынан, сондай-ақ тікелей (5.6) формуладан келесідей болады:

Шартты тығыздық

Марков процесінің s уақытындағы у күйінен t уақытындағы х күйіне өтуінің ықтималдық тығыздығы деп аталады.

(2.57) формуласын пайдаланып, Марков процесінің көпөлшемді ықтималдық тығыздығын (кез келген соңғы ретті) анықтаймыз.

Формула (5.60) Марков процесінің көпөлшемді ықтималдық тығыздығының көбейткіштерге жіктелуін білдіреді – оның бір өлшемді тығыздық пен ауысу ықтималдығы тығыздықтарының туындысы ретінде ұсынылуы. Көпөлшемді тығыздықты көбейткіштерге бөлу шарты (5.60) Марков процестеріне тән белгі болып табылады (тәуелсіз мәндері бар процестер үшін ұқсас қарапайымырақ факторизация шартымен (5.4) салыстырыңыз).

Бір өлшемді тығыздық пен ауысу ықтималдығының тығыздығы қатынас арқылы байланысты

Марков процесінің өту ықтималдығының тығыздығы теріс емес және нормализацияның әдеттегі шарттарын ғана қанағаттандыратын ерікті шартты бөлу функциясы емес, яғни. Ол әлі де кейбір интегралдық теңдеуді қанағаттандыруы керек. Расында, (5,60) бастап бізде бар

Осы теңдіктің екі бөлігін де интегралдасақ, аламыз

және содан бері

(5.62) интегралдық теңдеуі Колмогоров-Чапман теңдеуі деп аталады.

5.4.2. Біртекті Марков процестері.

Егер Марков процесінің ықтималдық үлестірімі уақыт ығысуына инвариантты болса, онда ол біртекті (стационарлық) деп аталады. Бұл жағдайда өту ықтималдығының тығыздығы (5.59) тек бір уақыт параметріне байланысты .

Біртекті Марков процесінің көп өлшемді тығыздығы үшін көбейткіштерге бөлу шарты түрінде жазылған) [қараңыз. (5,60)]

Біртекті Марков процестерінің класы тәуелсіз өсулері бар біртекті кездейсоқ процестердің қарастырылған класымен сәйкес келетінін ескеріңіз.

5.4.3. Көпбайланысты Марков процесі.

Егер көшу ықтималдылығының тығыздығы процестің алдыңғы k мәніне тәуелді болса, Марков процесін -байланысты деп атаймыз [қараңыз. (5.58)]:

Қосылған Марков процесінің көпөлшемді тығыздығы үшін көбейткіштерге бөлу шарты былай жазылады

және Колмогоров-Чапман теңдеуі

5.4.4. Векторлық Марков процесі.

Кездейсоқ процестердің жиынтығы Марков процесінің векторын құрайды, егер осы жиынның толық ықтималдық сипаттамасы үшін бірлескен үлестіруді білу қажет және жеткілікті болса

және шартты бөлу

немесе сәйкес өту ықтималдығының тығыздығы

- (5.62) скаляр шамаларды векторлық шамалармен ауыстырып, Марков процесінің векторы үшін сәйкес қатынастарды аламыз.

Марков процесінің векторын құрайтын коллекцияға жататын кездейсоқ процестердің әрқайсысы Марков процесінің векторлық құрамдас бөлігі деп аталады, дегенмен ол жалпы скалярлық Марков процесі болып табылмайды.

(вектор және көбейту байланысты Марков процестері арасындағы байланысқа назар аударыңыз: -байланысқан Марков тізбегін вектор ретінде де түсіндіруге болады (өлшемі k) Марков тізбегі

5.4.5. Гаусс Марков процесі.

Марков процесі, егер оның таралуы қалыпты ықтималдық таралу заңына бағынатын болса, Гаусс деп аталады (5.2.1 тарауды қараңыз). Кез келген Гаусс процесіне келетін болсақ, Гаусс Марков процесінің корреляциялық функциясы оның толық ықтималдық сипаттамасын береді. Кездейсоқ процестің орталықтандырылған Гаусс Марков процесі екенін дәлелдеуге болады, егер үшін болса ғана оның корреляциялық функциясы теңдеуді қанағаттандырса.

Біртекті Гаусс Марков процесі үшін шарт (5.71) нормаланған корреляция функциясы арқылы жазылады, ол табиғи түрде бір аргументке тәуелді.

Тривиальды шешімді қоспағанда, (5.72) теңдеудің бірегей шешімі бар

Сонымен, дисперсиясы бар стационар центрлі Гаусс процесі Марковтық процесс болып табылады, егер оның корреляциялық функциясы болса ғана (5.4-сурет).

немесе процестің сәйкес қуаттылық спектрлік тығыздығы (5.5-сурет)

(5.74) және сәйкесінше (5.75)-ден біртекті Гаусс Марков процесі орташа квадратта үзіліссіз болатыны шығады, бірақ 5.6 есеп орташа квадратта да дифференциалданбайды.

Күріш. 5.4. Біртекті Гаусс Марков процесінің нормаланған корреляциялық функциясы

Күріш. 5.5. Біртекті Гаусс Марков процесінің қуат спектрлік тығыздығы

5.4.6. Гаусс Марковтың тізбегі.

Дисперсиялары мен корреляциялық коэффициенттері бар центрленген Гаусс кездейсоқ шамаларының тізбегі болсын.Бұл реттілік Марковтық болуы үшін қажет және жеткілікті

Стационарлық Гаусс Марков тізбегі үшін (5.76)

мұндағы қатардың екі көршілес мүшелері арасындағы корреляция коэффициенті.

Гаусс Марков тізбегінің әрбір тізбегі де Гаусс, Марков.

5.4.7. Үздіксіз Марков процесінің өту ықтималдығы тығыздығының дифференциалдық теңдеуі.

(5.62) Колмогоров – Чепмен интегралдық теңдеуін шешу қиын тапсырма. Марков процесінің өту ықтималдығының тығыздығын анықтау, егер үздіксіз процестермен шектелетін болсақ, дифференциалдық теңдеуді шешуге дейін қысқартуға болады. Марков процесі үзіліссіз деп аталады, егер айтарлықтай қозғалыстар қысқа уақыт аралықтарында шағын ықтималдықпен ғана мүмкін болса. Дәлірек айтқанда, бұл кез келген нәрсені білдіреді

Бір ықтималдығы бар үздіксіз Марков процесінің жүзеге асуы үздіксіз.

(5.62) теңдеуінен айнымалылардың белгіленуін орнату және өзгерту арқылы аламыз

Оның үстіне, бұл анық

Соңғы екі теңдіктен ол шығады

Тейлор қатарында ауысу ықтималдығының тығыздығын кеңейтуге болады деп есептейік

(5.80)-ді (5.79) ауыстырып, екі бөлікті де бөле отырып және -дегі шекке көшу арқылы аламыз.

5.4.8. диффузиялық процестер.

Егер функциялар нөлден және үшін үшін шекті болса, онда үздіксіз Марков процесі диффузиялық процесс деп аталады. (5.81)-ден диффузиялық процестің ауысуының ықтималдық тығыздығы жартылай туындылардағы дифференциалдық теңдеуді қанағаттандыратыны шығады.

кері Колмогоров теңдеуі деп аталады.

Сол сияқты диффузиялық процестің ауысуының ықтималдық тығыздығы да тура Колмогоров теңдеуін қанағаттандыратынын дәлелдей аламыз:

дрейф коэффициенті және

диффузия коэффициенті.

Тура Колмогоров теңдеуі (5.84) Фоккер-Плавка теңдеуі сияқты белгілі. (5.83) және (5.84) теңдеулер параболалық дербес дифференциалдық теңдеулер класына жатады. (5.83) айнымалылар болып табылады және y және T айнымалылары тек шартта қамтылған. (5.84) айнымалылар y және және t тек бастапқы шарт арқылы енгізіледі. Мысалы, Колмогоров теңдеулерін шешу әдістері қарастырылады.

5.4.9. Стационарлық диффузиялық процестер.

Стационарлық диффузиялық процестер үшін дрейф коэффициенттері (5,85) және диффузия (5,86) уақыт параметріне тәуелді емес, ал ауысу ықтималдығының тығыздығы тек айырмашылыққа байланысты. Сонда (5.84) -тен аламыз

бастапқы шартымен

Егер бастапқы күйге тәуелді емес өтпелі ықтималдық тығыздығының шегі болса, онда ол стационарлық диффузиялық процестің шекті таралу функциясы деп аталады.

(5.88) дан мынаны шығады. Сондықтан шекті үлестірім функциясын бірінші ретті қарапайым дифференциалдық теңдеуден табуға болады

шешімі пішінге ие

константалар нормалау шартынан және шекаралық шарттан анықталады

5.4.10. Гаусс диффузия процесі.

Орташа мәні нөлге, дисперсияға және нормаланған корреляция функциясына ие Гаусс стационар кездейсоқ процесті қарастырайық. Бұл кездейсоқ процестің шартты таралу тығыздығы [қараңыз. (2,74)]

Қарастырылып отырған шартты ықтималдық тығыздығы үшін (5.82) сәйкес анықталған функцияларды табайық:

(5.92)

мұндағы – оң жақтан нөлге жақындаған кездегі туындының мәні. Егер нөлде үздіксіз болса, онда үзіліске ұшырайды делік. Содан кейін

Кездейсоқ процесс – бұл мәндері уақыт параметрімен индекстелген кездейсоқ шамалардың жиыны немесе отбасы. Мысалы, сыныптағы оқушылар саны, уақыт функциясы ретінде сол сыныптағы атмосфералық қысым немесе температура кездейсоқ процестер.

Кездейсоқ процестер күрделі стохастикалық жүйелерді зерттеуде мұндай жүйелердің жұмыс істеуінің адекватты математикалық модельдері ретінде кеңінен қолданылады.

Кездейсоқ процестер үшін негізгі ұғымдар ұғымдар болып табылады процесс күйіЖәне өтуоны бір күйден екінші күйге.

Белгілі бір уақытта кездейсоқ процесті сипаттайтын айнымалылардың мәндері деп аталады күйкездейсоқпроцесс. Кездейсоқ процесс бір күйден екінші күйге ауысады, егер бір күйді анықтайтын айнымалылардың мәндері басқа күйді анықтайтын мәндерге өзгерсе.

Кездейсоқ процестің мүмкін күйлерінің саны (күй кеңістігі) ақырлы немесе шексіз болуы мүмкін. Егер мүмкін болатын күйлердің саны шектеулі немесе есептелетін болса (барлық мүмкін күйлерге реттік сандар берілуі мүмкін), онда кездейсоқ процесс деп аталады. дискретті күй процесі. Мысалы, дүкендегі тұтынушылардың саны, банктегі тәулік ішінде тұтынушылардың саны дискретті күйлері бар кездейсоқ процестермен сипатталады.

Кездейсоқ процесті сипаттайтын айнымалылар соңғы немесе шексіз үздіксіз интервалдан кез келген мәндерді қабылдай алатын болса, сондықтан күйлер саны саналмайтын болса, онда кездейсоқ процесс деп аталады үздіксіз күй процесі. Мысалы, күндізгі ауа температурасы үздіксіз күйлері бар кездейсоқ процесс.

Дискретті күйлері бар кездейсоқ процестер үшін бір күйден екінші күйге күрт ауысулар тән, ал үздіксіз күйлері бар процестерде бірқалыпты өтулер. Әрі қарай біз жиі шақырылатын дискретті күйлері бар процестерді ғана қарастырамыз тізбектер.

арқылы белгілеңіз g(т) дискретті күйлері және мүмкін мәндері бар кездейсоқ процесс g(т), яғни. схеманың мүмкін күйлері, - символдар арқылы Е 0 , Е 1 , Е 2 , … . Кейде табиғи қатардан 0, 1, 2, ... сандары дискретті күйлерді белгілеу үшін қолданылады.

кездейсоқ процесс g(т) аталады процессбіргедискреттіуақыт, егер процестің күйден күйге өтуі тек қатаң анықталған, алдын ала белгіленген уақытта мүмкін болса т 0 , т 1 , т 2 , … . Егер процестің күйден күйге ауысуы уақыттың бұрын белгісіз кез келген нүктесінде мүмкін болса, онда кездейсоқ процесс деп аталады. процессүздіксізуақыт. Бірінші жағдайда ауысулар арасындағы уақыт аралықтары детерминирленген, ал екіншісінде кездейсоқ шамалар болатыны анық.

Дискретті уақытты процесс не осы процесс арқылы сипатталған жүйенің құрылымы оның күйлері уақыттың алдын ала анықталған нүктелерінде ғана өзгеретіндей болғанда немесе процесті (жүйені) сипаттау үшін жеткілікті деп есептелгенде орын алады. белгілі бір уақыттағы күйлерді білу. Сонда бұл сәттерді санап, мемлекет туралы айтуға болады Е менсол уақытта т мен .

Дискретті күйлері бар кездейсоқ процестерді төбелері күйлерге, ал бағытталған доғалар бір күйден екінші күйге өтуге сәйкес келетін ауысулардың (немесе күйлердің) графигі ретінде ұсынылуы мүмкін. Егер штаттан тыс болса Е ментек бір күйге ауысуы мүмкін Е j, онда бұл факт көшу графигінде шыңнан бағытталған доға арқылы көрсетіледі Е менжоғарғы жағына Е j(1а-сурет). Бір күйден бірнеше басқа күйге және бірнеше күйден бір күйге өту 1б және 1в-суретте көрсетілгендей өту графигінде көрсетіледі.