Învățarea automată: Incertitudine și raționament probabilistic

Învățarea automată (Machine Learning, ML) este un domeniu foarte practic care oferă multe soluții la problemele din viața noastră de zi cu zi, făcând-o astfel extrem de utilă astăzi [1]. Acest succes vizibil și convingător se datorează în principal la trei aspecte: (1) acceptării de către ingineri a conceptului de informație probabilă într-o lume incertă [2]; (2) puterea și aplicabilitatea teoriei învățării statistice; și (3) succesul învățării profunde [3,4]. ML se bazează pe teoria învățării statistice (Statistical Learning Theory, SLT), care oferă un cadru larg pentru studierea întrebărilor fundamentale de învățare și inferență, extragerea cunoștințelor, realizarea de predicții și decizii și construirea de modele formale din date. În cele din urmă, SLT contribuie la proiectarea unor algoritmi de învățare mai buni [5,6,7].

Incertitudine și raționament probabilistic

Baza marelui succes al ML a fost pusă în urmă cu mai bine de 250 de ani de Thomas Bayes (1701–1761), a cărui activitate privind luarea deciziilor în condiții de incertitudine a fost comunicată după moartea sa de Richard Price (1723–1791) [8]. Cu toate acestea, de fapt, Pierre Simon de Laplace (1749–1827) aproximativ 20 de ani mai târziu [9] a generalizat aceste idei și a făcut domeniul raționamentului probabilistic accesibil, utilizabil și util pentru abordările computaționale de astăzi. Un alt factor de succes a fost puterea predictivă a proceselor gaussiene, care au fost utilizate cu succes pentru a trata procesele stocastice în timp [10]. Un proces Gaussian (GP) poate fi văzut ca o generalizare a distribuției normale de probabilitate, care poartă numele lui Carl Friedrich Gauss (1777–1855), și care poate fi folosită ca distribuție anterioară de probabilitate pe funcții [11]. Această idee este surprinzător de utilă acum pentru noi, când ne ocupăm de date cu dimensiuni mari, deoarece inferența bayesiană poate fi aplicată cu ușurință, prin urmare ea unește o viziune consistentă cu calculabilitatea. Mai mult decât atât, este fascinant că abordarea raționamentului probabilistic se potrivește bine cu explicațiile despre învățare și problema umană [12,13,14]. În plus, multă valoare practică oferă utilizarea programării probabilistice. Acest concept de programare este diferit de programarea tradițională, într-un mod în care părți ale programului nu sunt fixate în prealabil; în schimb, ele preiau valori generate în timpul rulării prin proceduri de eșantionare aleatorie. Un bun exemplu pentru această abordare este combinația dintre programarea probabilistică și Particle Markov Chain Monte Carlo (PMCMC), care permite inferența Bayesiană automată asupra modelelor probabilistice incluzând recursiunea stocastică [15]; pentru o implementare în Python vezi [16]. Cele două constructe suplimentare puternice ale conceptelor de programare funcțională sau imperativă includ [17]:

1. abilitatea de a extrage valori la întâmplare din distribuțiile de probabilitate și
2. abilitatea de a condiționa valorile variabilelor dintr-un program prin observații.

Problemele lumii din viața noastră de zi cu zi pot fi valorificate prin programe probabilistice datorită aplicabilității inferenței probabilistice, adică prin calcularea unei reprezentări explicite a distribuției probabilităților implicite specificate de un program probabilistic. În funcție de aplicație, rezultatul dorit din inferență poate varia, de exemplu, dacă dorim să estimăm valoarea așteptată a unei funcții f în raport cu distribuția, sau modul de distribuție, sau un set de eșantioane extrase din această distribuție [1].

Referințe

1. Meijer, E. Making money using math. Commun. ACM 2017, 60, 36–42. [Google Scholar] [CrossRef]
2. Pearl, J. Probabilistic Reasoning in Intelligent Systems: Networks of Plausible Inference; Morgan Kaufmann: San Francisco, CA, USA, 1988. [Google Scholar]
3. Schmidhuber, J. Deep learning in neural networks: An overview. Neural Netw. 2015, 61, 85–117. [Google Scholar] [CrossRef] [PubMed]
4. LeCun, Y.; Bengio, Y.; Hinton, G. Deep learning. Nature 2015, 521, 436–444. [Google Scholar] [CrossRef] [PubMed]
5. Vapnik, V.N.; Chervonenkis, A.Y. On the Uniform Convergence of Relative Frequencies of Events to Their Probabilities. Theory Probab. Appl. 1971, 16, 264–280. [Google Scholar] [CrossRef]
6. Bousquet, O.; Boucheron, S.; Lugosi, G. Introduction to Statistical Learning Theory. In Advanced Lectures on Machine Learning; Bousquet, O., von Luxburg, U., Raetsch, G., Eds.; Springer: Berlin/Heidelberg, Germany, 2004; pp. 169–207. [Google Scholar] [CrossRef]
7. Hastie, T.; Tibshirani, R.; Friedman, J. The Elements of Statistical Learning: Data Mining, Inference, and Prediction, 2nd ed.; Springer: New York, NY, USA, 2009. [Google Scholar] [CrossRef]
8. Bayes, T. An Essay towards solving a Problem in the Doctrine of Chances (communicated by Richard Price). Philos. Trans. 1763, 53, 370–418. [Google Scholar] [CrossRef]
9. Laplace, P.S. Mémoire sur les probabilités. Mémoires de l’Académie Royale des sciences de Paris 1781, 1778, 227–332. (In French) [Google Scholar]
10. Kolmogorov, A. Interpolation und extrapolation von stationaeren zufaelligen Folgen. Izv. Akad. Nauk SSSR Ser. Mat. 1941, 5, 3–14. (In German) [Google Scholar]
11. Rasmussen, C.E.; Williams, C.K. Gaussian Processes for Machine Learning; MIT Press: Cambridge, MA, USA, 2006. [Google Scholar]
12. Knill, D.C.; Pouget, A. The Bayesian brain: The role of uncertainty in neural coding and computation. Trends Neurosci. 2004, 27, 712–719. [Google Scholar] [CrossRef] [PubMed]
13. Chater, N.; Tenenbaum, J.B.; Yuille, A. Probabilistic models of cognition: Conceptual foundations. Trends Cogn. Sci. 2006, 10, 287–291. [Google Scholar] [CrossRef] [PubMed]
14. Doya, K.; Ishii, S.; Pouget, A.; Rao, R. Bayesian Brain: Probabilistic Approaches to Neural Coding; MIT Press: Boston, MA, USA, 2007. [Google Scholar] [CrossRef]
15. Wood, F.; van de Meent, J.-W.; Mansinghka, V. A new approach to probabilistic programming inference. In Proceedings of the 17th International Conference on Artificial Intelligence and Statistics (AISTATS) 2014, Reykjavik, Iceland, 22–25 April 2014; pp. 1024–1032. [Google Scholar]
16. Salvatier, J.; Wiecki, T.V.; Fonnesbeck, C. Probabilistic programming in Python using PyMC3. PeerJ Comput. Sci. 2016, 2, e55. [Google Scholar] [CrossRef]
17. Gordon, A.D.; Henzinger, T.A.; Nori, A.V.; Rajamani, S.K. Probabilistic programming. In Proceedings of the on Future of Software Engineering, Hyderabad, India, 31 May–7 June 2014; pp. 167–181. [Google Scholar] [CrossRef]

Sursa: Holzinger, A. Introduction to MAchine Learning & Knowledge Extraction (MAKE). Mach. Learn. Knowl. Extr. 2019, 1, 1-20. https://doi.org/10.3390/make1010001. Licența CC BY 4.0. Traducere și adaptare © 2024 Nicolae Sfetcu