Neprekidni procesi

Procesi Markova sa neprekidnim vremenom

Slučajan proces {X(t), t ≥ 0} sa skupom stanja ℤ za koje važi svojstvo Markova :

P{X(t _n) = j | X(t ₁) = i ₁, X(t ₂) = i ₂,⋯,X(t _{n − 2}) = i _n-2,X(t _{n − 1}) = i} = P{X(t _n) = j|X(t _{n − 1}) = i}

za sve n ∈ ℤ i svaku podelu 0 ≤ t ₁ < t ₂ < ⋯< t _n je lanac Markova u neprekidnom vremenu sa prebrojivim skupom stanja.

Neprekidni lanci Markova razlikuju od diskretnih po tome što pretpostavljamo da se promene stanja mogu desiti u bilo kom trenutku, a ne samo u diskretnim jedinicama vremena.

Verovatnoću prelaska iz stanja i (u trenutku s ) u stanje j (u trenutku t , t ≥ s ) definišemo sa

p _{i
j}(s,t) = P{X(t) = j|X(s) = i} .

Za homogene lance Markova sa neprekidnim vremenom važi

p _{i
j}(s,t) = p _{i
j}(0,t−s) = p _{i
j}(t−s)

Kao i u diskretnom slučaju i ovde važe jednačine Čepmen-Kolmogorova:

Sada ćemo navesti nekoliko primera iz svakodnevnog života na koje je primenjiv lanac Markova u neprekidnom vremenu

Proces rađanja i umiranja

Posmatraćemo populaciju zečeva na nekoj teritoriji u toku jedne godine. Broj zečeva na kraju godine svakako zavisi od
početnog broja zečeva. Ali zavisi i od inteziteta rađanja novih jedinki koji možemo da modelujemo (verovatnoća da se rodi nova jedinka u populaciji je veća što je trenutni broj jedinki u toj populaciji veći). Takođe, slično važi i za intezitet umiranja. Želimo da prognoziramo koliko će zečeva biti na kraju godine. Ako znamo broj zečeva na polovini godine (ili bilo kom drugom vremenskom trenutku) i znamo zakone po kojim se menjaju inteziteti rađanja i umiranja, za predvidjanje nam više nije bitan početni broj. Tada dobijamo novije podatke i svi oni prethodni nam više nisu korisni tj. ispoljava se svojstvo Markova.

Proces radjanja

Posmatraćemo populaciju ameba. Amebe se dele prostom deobom - kada ameba dovoljno izraste, ona se deli i obrazuje dve nove identične ćerke ćelije. Trenutak kada će se ameba podeliti zavisi od ispunjenosti nekih uslova, a vremenski interval potreban za ispunjenje tih uslova varira od amebe do amebe, što ovaj proces čini neprekidnim. Ovaj primer se razlikuje od primera sa zečevima zato što amebe ne umiru, već se na kraju svog života podele.

Sistemi masovnog opsluživanja

Sistem masovnog opsluživanja se sastoji od klijenata (onih koji treba da budu opsluženi) i servera (onih koji opslužuju). Klijenti traže uslugu u slučajnim vremenskim trenucima, i odlaze iz sistema kada budu opsluženi. (Činjenice da klijenti traže uslugu u bilo kom trenutku, a ne u unapred odredjenim diskretnim trenucima čini ovaj proces procesom Markova u neprekidnom vremenu). Klijenti mogu biti ljudi kojima treba pregled kod lekara, mušterije u frizerskom salonu, automobili na naplatnoj rampi, kamioni koji čekaju na istovar... Samim tim, serverom smatramo svakog radnika za šalterom, frizera u salonu, mehaničara u servisu, automat na naplatnoj rampi, mašinu u lancu proizvodnje... U svim tim sistemima, u zavisnosti od učestalosti pristizanja zahteva i dinamike opsluživanja, mogu se formirati redovi čekanja. S obzirom na to da kod mnogih od tih sistema stanje u budućnosti zavisi samo od trenutnog stanja sistema, brzine pristizanja novih zahteva, kao i od brzine opsluživanja postojećih, u ovoj oblasti lanci Markova imaju veliku primenu.