Lanț Markov în timp continuu

Lanțul Markov în timp continuu (continuous-time Markov chain, CTMC) este un proces stocastic în care sistemul se află la un moment dat într-o anumită stare și, după un timp aleatoriu, trece într-o altă stare. Diferența față de lanțurile Markov în timp discret este că schimbările nu apar la pași fixați — de exemplu la fiecare minut sau la fiecare etapă —, ci după intervale de timp aleatorii, modelate de obicei prin variabile aleatoare exponențiale. Proprietatea esențială rămâne însă aceeași: evoluția viitoare depinde numai de starea prezentă, nu de drumul parcurs anterior, ceea ce este posibil datorită proprietății „fără memorie” a distribuției exponențiale.

Un CTMC este descris printr-un spațiu de stări, o distribuție inițială și o matrice a ratelor de tranziție, notată de regulă cu Q. Elementele din afara diagonalei, (q_{ij}), indică rata cu care procesul trece din starea (i) în starea (j), iar elementele diagonale sunt alese astfel încât suma fiecărui rând să fie zero. Aceasta contrastează cu lanțurile Markov în timp discret, unde matricea de tranziție are rânduri care însumează 1, deoarece intrările sunt probabilități directe. În CTMC, matricea Q nu dă direct probabilitatea unei tranziții, ci intensitatea sau viteza cu care aceasta se produce.

Există mai multe definiții echivalente ale lanțurilor Markov în timp continuu. Prima se bazează pe probabilitățile de tranziție (P(t)), care arată probabilitatea ca procesul să ajungă într-o anumită stare după un timp (t), pornind dintr-o altă stare. Aceste probabilități satisfac ecuațiile lui Kolmogorov, iar în cazul unui spațiu finit de stări soluția este exprimată prin exponentiala de matrice (P(t)=e^{tQ}). Această formulare leagă comportamentul probabilistic al procesului de un sistem de ecuații diferențiale, ceea ce face CTMC-urile utile în modelarea fenomenelor care evoluează continuu în timp.

O a doua perspectivă este cea a lanțului de salturi și a timpilor de așteptare. Procesul rămâne într-o stare pentru un timp aleatoriu, apoi „sare” într-o altă stare conform unor probabilități determinate de matricea Q. Timpul petrecut într-o stare are distribuție exponențială, iar succesiunea stărilor vizitate formează un lanț Markov în timp discret, numit lanț de salturi. Această interpretare este intuitivă: sistemul nu se schimbă continuu în fiecare clipă, ci rămâne pe loc o perioadă, apoi face o tranziție bruscă spre o altă stare.

Conform definiției infinitesimale, probabilitatea unei tranziții într-un interval foarte mic de timp este aproximativ proporțională cu lungimea acelui interval și cu rata (q_{ij}). Cu alte cuvinte, pentru timp foarte scurt, rata de tranziție măsoară cât de repede se poate produce trecerea dintr-o stare în alta. Această idee este importantă deoarece oferă interpretarea locală a matricei Q: ea nu descrie direct ce se întâmplă după un timp lung, ci regulile instantanee ale evoluției procesului.

Cât despre despre proprietăți, noțiuni precum clase comunicante, tranziență, recurență și recurență pozitivă sau nulă se definesc asemănător ca în cazul lanțurilor Markov în timp discret. De asemenea, comportamentul tranzitoriu este descris prin ecuația (P'(t)=P(t)Q), iar în situațiile finite soluția se obține prin exponentiala matriceală. Pe măsură ce timpul crește, unele procese pot tinde către o distribuție staționară, adică o distribuție de probabilitate care rămâne neschimbată sub dinamica procesului. Aceasta se obține de obicei rezolvând ecuația (\pi Q=0), cu condiția ca probabilitățile să însumeze 1.

Articolul oferă și exemple, inclusiv un model cu două stări, un model imaginar al piețelor financiare — cu stări precum piață în creștere, piață în scădere și piață stagnantă — și un exemplu inspirat de jocul Pac-Man. Aceste exemple ilustrează felul în care ratele de tranziție pot descrie treceri între stări reale sau abstracte și cum se poate calcula distribuția pe termen lung. În final sunt discutate inversarea timpului și lanțul Markov încorporat, două instrumente utile pentru analiza procesului: primul studiază cum ar arăta dinamica dacă timpul ar fi parcurs invers, iar al doilea transformă procesul continuu într-un lanț discret observat doar la momentele de salt sau la intervale fixe.

În ansamblu, articolul prezintă lanțurile Markov în timp continuu ca pe un cadru matematic pentru sisteme care se schimbă aleatoriu în timp, dar în care viitorul depinde numai de prezent. Matricea ratelor Q, timpii exponențiali de așteptare, lanțul de salturi și ecuațiile lui Kolmogorov sunt elementele centrale ale acestei teorii. CTMC-urile sunt importante deoarece permit modelarea riguroasă a unor procese precum cozi de așteptare, piețe, sisteme fizice, rețele, procese biologice sau evoluții aleatorii în general, unde schimbările apar la momente imprevizibile, dar guvernate de reguli probabilistice clare.