Modelul Markov în teoria probabilităților pentru predicția evoluției sistemelor

În teoria probabilităților , un model Markov este un model stochastic utilizat pentru a modela sisteme care se schimbă pseudo-aleator. Se presupune că stările viitoare depind doar de starea actuală, nu de evenimentele care au avut loc înainte de aceasta (adică, se presupune proprietatea Markov). În general, această presupunere permite raționamentul și calculul cu modelul care altfel ar fi imposibil de rezolvat . Din acest motiv, în domeniile modelării predictive și prognozei probabilistice, este de dorit ca un anumit model să prezinte proprietatea Markov.

O diagramă care reprezintă un proces Markov cu două stări.

Introducere

Andrei Andreevici Markov (14 iunie 1856 – 20 iulie 1922) a fost un matematician rus, cunoscut mai ales pentru lucrările sale asupra proceselor stocastice. Un subiect principal al cercetării sale a devenit ulterior cunoscut sub numele de lanțul Markov. Există patru modele Markov comune utilizate în diferite situații, în funcție de dacă fiecare stare secvențială este observabilă sau nu și dacă sistemul trebuie ajustat pe baza observațiilor făcute:

Modele Markov
	Starea sistemului este complet observabilă	Starea sistemului este parțial observabilă
Sistemul este autonom	Lanțul Markov	Modelul Markov ascuns
Sistemul este controlat	Procesul decizional Markov	Proces de decizie Markov parțial observabil

Lanțul Markov

Cel mai simplu model Markov este lanțul Markov . Acesta modelează starea unui sistem cu o variabilă aleatoare care se modifică în timp. În acest context, proprietatea Markov indică faptul că distribuția pentru această variabilă depinde doar de distribuția unei stări anterioare. Un exemplu de utilizare a unui lanț Markov este modelul Monte Carlo cu lanțuri Markov , care folosește proprietatea Markov pentru a demonstra că o anumită metodă de efectuare a unei plimbări aleatorii va eșantiona din distribuția comună.

Modelul Markov ascuns

Un model Markov ascuns este un lanț Markov pentru care starea este doar parțial observabilă sau observabilă cu zgomot. Cu alte cuvinte, observațiile sunt legate de starea sistemului, dar sunt de obicei insuficiente pentru a determina cu precizie starea. Există mai mulți algoritmi bine-cunoscuți pentru modelele Markov ascunse. De exemplu, dată fiind o secvență de observații, algoritmul Viterbi va calcula cea mai probabilă secvență de stări corespunzătoare, algoritmul direct va calcula probabilitatea secvenței de observații, iar algoritmul Baum-Welch va estima probabilitățile de pornire, funcția de tranziție și funcția de observație ale unui model Markov ascuns.

O utilizare obișnuită este pentru recunoașterea vorbirii , unde datele observate sunt forma de undă audio a vorbirii , iar starea ascunsă este textul rostit. În acest exemplu, algoritmul Viterbi găsește cea mai probabilă secvență de cuvinte rostite, având în vedere sunetul vorbirii.

Procesul decizional Markov

Un proces decizional Markov este un lanț Markov în care tranzițiile de stare depind de starea curentă și de un vector de acțiune aplicat sistemului. De obicei, un proces decizional Markov este utilizat pentru a calcula o politică de acțiuni care va maximiza o anumită utilitate în raport cu recompensele așteptate.

Proces de decizie Markov parțial observabil

Un proces decizional Markov parțial observabil (POMDP) este un proces decizional Markov în care starea sistemului este observată doar parțial. Se știe că POMDP-urile sunt NP-complete , dar tehnicile recente de aproximare le-au făcut utile pentru o varietate de aplicații, cum ar fi controlul agenților simpli sau al roboților. [ 1 ]

Câmp aleator Markov

Un câmp aleator Markov , sau o rețea Markov, poate fi considerată o generalizare a unui lanț Markov în dimensiuni multiple. Într-un lanț Markov, starea depinde doar de starea anterioară în timp, în timp ce într-un câmp aleator Markov, fiecare stare depinde de vecinii săi în oricare dintre direcțiile multiple. Un câmp aleator Markov poate fi vizualizat ca un câmp sau un grafic de variabile aleatoare, unde distribuția fiecărei variabile aleatoare depinde de variabilele vecine cu care este conectată. Mai precis, distribuția comună pentru orice variabilă aleatoare din grafic poate fi calculată ca produsul „potențialelor clică” ale tuturor clicilor din grafic care conțin acea variabilă aleatoare. Modelarea unei probleme ca un câmp aleator Markov este utilă deoarece implică faptul că distribuțiile comune la fiecare vârf din grafic pot fi calculate în acest mod.

Modele Markov ierarhice

Modelele Markov ierarhice pot fi aplicate pentru a clasifica comportamentul uman la diferite niveluri de abstractizare. De exemplu, o serie de observații simple, cum ar fi locația unei persoane într-o cameră, poate fi interpretată pentru a determina informații mai complexe, cum ar fi sarcina sau activitatea pe care o desfășoară persoana. Două tipuri de modele Markov ierarhice sunt modelul Markov ierarhic ascuns [ 2 ] și modelul Markov abstract ascuns [ 3 ] . Ambele au fost utilizate pentru recunoașterea comportamentului [ 4 ] , iar anumite proprietăți de independență condiționată între diferite niveluri de abstractizare din model permit o învățare și o inferență mai rapide. [ 3 ] [ 5 ]

Modelul Markov tolerant

Un model Markov tolerant (TMM) este un model probabilistic-algoritmic al lanțului Markov. [ 6 ] Acesta atribuie probabilitățile în funcție de un context de condiționare care consideră ultimul simbol din secvența care apare ca fiind cel mai probabil, în loc de simbolul care apare cu adevărat. Un TMM poate modela trei naturi diferite: substituții, adăugiri sau ștergeri. Aplicații de succes au fost implementate eficient în compresia secvențelor de ADN. [ 6 ] [ 7 ]

Modele de prognoză cu lanț Markov

Lanțurile Markov au fost utilizate ca metode de prognoză pentru mai multe subiecte, de exemplu, tendințele prețurilor, [ 8 ] energia eoliană [ 9 ] și iradierea solară . [ 10 ] Modelele de prognoză cu lanțuri Markov utilizează o varietate de setări diferite, de la discretizarea seriilor temporale [ 9 ] la modele Markov ascunse combinate cu wavelet-uri [ 8 ] și modelul de distribuție a amestecului de lanțuri Markov (MCM). [ 10 ]

Referințe

1. Kaelbling, L. P.; Littman, M. L.; Cassandra, A. R. (1998). „Planning and acting in partially observable stochastic domains”. Artificial Intelligence. 101 (1–2): 99–134. CiteSeerX 10.1.1.390.8474. doi:10.1016/S0004-3702(98)00023-X. ISSN 0004-3702.
2. Fine, S.; Singer, Y. (1998). „The hierarchical hidden markov model: Analysis and applications”. Machine Learning. 32 (1): 41–62. Bibcode:1998MLear..32…41F. doi:10.1023/A:1007469218079.
3. Bui, H. H.; Venkatesh, S.; West, G. (2002). „Policy recognition in the abstract hidden markov model”. Journal of Artificial Intelligence Research. 17: 451–499. arXiv:1106.0672. doi:10.1613/jair.839. hdl:10536/DRO/DU:30044252.
4. Theocharous, G. (2002). Hierarchical Learning and Planning in Partially Observable Markov Decision Processes (PhD). Michigan State University.
5. Luhr, S.; Bui, H. H.; Venkatesh, S.; West, G. A. W. (2003). „Recognition of Human Activity through Hierarchical Stochastic Learning”. PERCOM ’03 Proceedings of the First IEEE International Conference on Pervasive Computing and Communications. pp. 416–422. CiteSeerX 10.1.1.323.928. doi:10.1109/PERCOM.2003.1192766. ISBN 978-0-7695-1893-0. S2CID 13938580.
6. Pratas, D.; Hosseini, M.; Pinho, A. J. (2017). „Substitutional tolerant Markov models for relative compression of DNA sequences”. PACBB 2017 – 11th International Conference on Practical Applications of Computational Biology & Bioinformatics, Porto, Portugal. pp. 265–272. doi:10.1007/978-3-319-60816-7_32. ISBN 978-3-319-60815-0.
7. Pratas, D.; Pinho, A. J.; Ferreira, P. J. S. G. (2016). „Efficient compression of genomic sequences”. Data Compression Conference (DCC), 2016. IEEE. pp. 231–240. doi:10.1109/DCC.2016.60. ISBN 978-1-5090-1853-6. S2CID 14230416.
8. de Souza e Silva, E.G.; Legey, L.F.L.; de Souza e Silva, E.A. (2010). „Forecasting oil price trends using wavelets and hidden Markov models”. Energy Economics. 32 (6): 1507. Bibcode:2010EneEc..32.1507D. doi:10.1016/j.eneco.2010.08.006.
9. Carpinone, A; Giorgio, M; Langella, R.; Testa, A. (2015). „Markov chain modeling for very-short-term wind power forecasting”. Electric Power Systems Research. 122: 152–158. Bibcode:2015EPSR..122..152C. doi:10.1016/j.epsr.2014.12.025.
10. Munkhammar, J.; van der Meer, D.W.; Widén, J. (2019). „Probabilistic forecasting of high-resolution clear-sky index time-series using a Markov-chain mixture distribution model”. Solar Energy. 184: 688–695. Bibcode:2019SoEn..184..688M. doi:10.1016/j.solener.2019.04.014. S2CID 146076100.

(Include texte traduse și adaptate din Wikipedia de Nicolae Sfetcu)