Home » Articole » Articole » Calculatoare » Inteligența artificială » Istoria rețelelor neuronale artificiale

Istoria rețelelor neuronale artificiale

Warren McCulloch și Walter Pitts (1943) au deschis subiectul creând un model de calcul pentru rețelele neuronale. La sfârșitul anilor 1940, D. O. Hebb a creat o ipoteză de învățare bazată pe mecanismul plasticității neuronale care a devenit cunoscut sub numele de învățare Hebbian. Farley și Wesley A. Clark (1954) au folosit mai întâi mașini de calcul, numite apoi „calculatoare”, pentru a simula o rețea hebbiană. În 1958, psihologul Frank Rosenblatt a inventat perceptronul, prima rețea neuronală artificială, finanțată de Oficiul de Cercetare Navală al Statelor Unite. Primele rețele funcționale cu multe straturi au fost publicate de Ivakhnenko și Lapa în 1965, ca Metoda de grup de manipulare a datelor. Bazele propagării inverse continue au fost derivate în contextul teoriei controlului a lui Kelley în 1960 și Bryson în 1961, folosind principiile programării dinamice. După aceea, cercetările au stagnat în urma lui Minsky și Papert (1969), care au descoperit că perceptronii de bază erau incapabili de a procesa circuitul exclusiv sau și că computerele nu aveau suficientă putere pentru a procesa rețele neuronale utile.

În 1970, Seppo Linnainmaa a publicat metoda generală pentru diferențierea automată (AD) a rețelelor conectate discrete de funcții diferențiabile imbricate. În 1973, Dreyfus a folosit retropropagarea pentru a adapta parametrii controlerelor proporțional cu gradienții de eroare. Algoritmul de retropropagare al lui Werbos (1975) a permis pregătirea practică a rețelelor multistrat. În 1982, el a aplicat metoda AD a lui Linnainmaa rețelelor neuronale în modul care a devenit utilizat pe scară largă.

Dezvoltarea integrării la scară foarte mare (VLSI) de metal-oxid-semiconductor (MOS), sub forma tehnologiei MOS complementare (CMOS), a permis creșterea numărului de tranzistori MOS în electronica digitală. Acest lucru a oferit mai multă putere de procesare pentru dezvoltarea rețelelor neuronale artificiale practice în anii 1980.

În 1986, Rumelhart, Hinton și Williams au arătat că retropropagarea a învățat reprezentări interne interesante ale cuvintelor ca vectori caracteristici atunci când sunt antrenați să prezică următorul cuvânt dintr-o secvență.
Începând cu 1988, utilizarea rețelelor neuronale a transformat domeniul predicției structurii proteinelor, în special atunci când primele rețele în cascadă au fost antrenate pe profile (matrici) produse de aliniamente de secvențe multiple.

În 1992, punerea maximală în comun a fost introdusă pentru a ajuta la invarianța cu cea mai mică schimbare și toleranța la deformare pentru a ajuta recunoașterea obiectelor 3D. Schmidhuber a adoptat o ierarhie de rețele pe mai multe niveluri (1992) pre-antrenată câte un nivel prin învățare nesupravegheată și ajustată prin retropropagare.

Succesele timpurii ale rețelelor neuronale au inclus prezicerea pieței de valori și, în 1995, a unei mașini (în mare parte) autonome.

Geoffrey Hinton și colab. (2006) au propus învățarea unei reprezentări la nivel înalt folosind straturi succesive de variabile latente binare sau cu valori reale cu o mașină Boltzmann restrânsă pentru a modela fiecare strat. În 2012, Ng și Dean au creat o rețea care a învățat să recunoască concepte de nivel superior, cum ar fi pisicile, doar din vizionarea imaginilor neetichetate. Preinstruirea nesupravegheată și puterea de calcul crescută de la GPU și calculul distribuit au permis utilizarea rețelelor mai mari, în special în problemele de recunoaștere a imaginii și vizuale, care au devenit cunoscute sub numele de „învățare profundă”.

Ciresan și colegii (2010) au arătat că, în ciuda problemei gradientului care dispare, GPU-urile fac posibilă propagarea inversă pentru rețelele neuronale cu feedforward cu mai multe straturi. Între 2009 și 2012, ANN-urile au început să câștige premii la concursuri de recunoaștere a imaginii, abordând performanța la nivel uman în diverse sarcini, inițial în recunoașterea modelelor și recunoașterea scrisului de mână. De exemplu, memoria de lungă durată bidirecțională și multidimensională (LSTM) a lui Graves și colab. a câștigat trei concursuri de recunoaștere a scrisului de mână conectat în 2009, fără cunoștințe prealabile despre cele trei limbi care urmează să fie învățate.

Ciresan și colegii săi au construit primele instrumente de recunoaștere a modelelor pentru a obține performanță uman-competitivă/supraomenească pe criterii de referință precum recunoașterea semnelor de circulație (IJCNN 2012).

(Include texte traduse și adaptate din Wikipedia de Nicolae Sfetcu)

Introducere în inteligența artificială
Introducere în inteligența artificială

Pășește în era digitală pregătit să înțelegi și să aplici conceptele care schimbă lumea!

Nu a fost votat 14.32 lei25.09 lei Selectează opțiunile Acest produs are mai multe variații. Opțiunile pot fi alese în pagina produsului.

Lasă un răspuns

Adresa ta de email nu va fi publicată. Câmpurile obligatorii sunt marcate cu *