Conexionism

Conexionismul se referă atât la o abordare în domeniul științei cognitive care speră să explice fenomenele mentale folosind rețele neuronale artificiale (artificial neural networks, ANN), cât și la o gamă largă de tehnici și algoritmi care utilizează ANN-uri în contextul inteligenței artificiale pentru a construi mașini mai inteligente. Conexionismul prezintă o teorie cognitivă bazată pe activitate simultană a semnalului distribuit prin conexiuni care pot fi reprezentate numeric, unde învățarea are loc prin modificarea punctelor forte ale conexiunii pe baza experienței.

Unele avantaje ale abordării conexioniste includ aplicabilitatea acesteia la o gamă largă de funcții, aproximarea structurală a neuronilor biologici, cerințele scăzute pentru structura înnăscută și capacitatea de degradare lină. Unele dezavantaje includ dificultatea de a descifra modul în care ANN-urile procesează informațiile sau țin cont de compoziționalitatea reprezentărilor mentale și o dificultate rezultată în explicarea fenomenelor la un nivel superior.

Succesul rețelelor de învățare profundă în ultimul deceniu a crescut foarte mult popularitatea acestei abordări, dar complexitatea și amploarea unor astfel de rețele au adus cu ele probleme crescute de interpretabilitate. Conexionismul este văzut de mulți ca oferind o alternativă la teoriile clasice ale minții bazate pe calculul simbolic, dar măsura în care cele două abordări sunt compatibile a fost subiectul multor dezbateri încă de la începuturile lor.

(Model connexionist (ANN) cu un strat ascuns)

Principiul conexionist central este că fenomenele mentale pot fi descrise prin rețele interconectate de unități simple și adesea uniforme. Forma conexiunilor și unitățile pot varia de la model la model. De exemplu, unitățile din rețea ar putea reprezenta neuronii, iar conexiunile ar putea reprezenta sinapse, ca în creierul uman.

Răspândirea activării

În majoritatea modelelor conexioniste, rețelele se schimbă în timp. Un aspect strâns legat și foarte comun al modelelor conexioniste este activarea. În orice moment, o unitate din rețea are o activare, care este o valoare numerică menită să reprezinte un anumit aspect al unității. De exemplu, dacă unitățile din model sunt neuroni, activarea ar putea reprezenta probabilitatea ca neuronul să genereze un vârf de potențial de acțiune. Activarea se extinde de obicei la toate celelalte unități conectate la ea. Activarea răspândirii este întotdeauna o caracteristică a modelelor de rețele neuronale și este foarte comună în modelele conexioniste utilizate de psihologii cognitivi.

Rețele neuronale

Rețelele neuronale sunt de departe cel mai frecvent utilizat model conexionist astăzi. Deși există o mare varietate de modele de rețele neuronale, acestea urmează aproape întotdeauna două principii de bază referitoare la minte:

1. Orice stare mentală poate fi descrisă ca un vector (N)-dimensional al valorilor numerice de activare peste unitățile neuronale dintr-o rețea.
2. Memoria este creată prin modificarea puterii conexiunilor dintre unitățile neuronale. Forțele conexiunii, sau „greutăți”, sunt în general reprezentate ca o matrice N×M.

Cea mai mare varietate dintre modelele de rețele neuronale provine din:

• Interpretarea unităților: Unitățile pot fi interpretate ca neuroni sau grupuri de neuroni.
• Definiția activării: Activarea poate fi definită într-o varietate de moduri. De exemplu, într-o mașină Boltzmann, activarea este interpretată ca probabilitatea de a genera un vârf de potențial de acțiune și este determinată printr-o funcție logistică pe suma intrărilor unei unități.
• Algoritm de învățare: Rețele diferite își modifică conexiunile în mod diferit. În general, orice modificare definită matematic a greutăților conexiunilor în timp este denumită „algoritm de învățare”.

Conexiunile sunt de acord că rețelele neuronale recurente (rețele direcționate în care conexiunile rețelei pot forma un ciclu direcționat) sunt un model mai bun al creierului decât rețelele neuronale feedforward (rețele direcționate fără cicluri, numite DAG). Multe modele conexioniste recurente încorporează și teoria sistemelor dinamice. Mulți cercetători, cum ar fi conexionistul Paul Smolensky, au susținut că modelele conexioniste vor evolua către abordări complet continue, cu dimensiuni mari, neliniare și dinamice.

Realism biologic

În general, activitatea conexionistă nu trebuie să fie realistă din punct de vedere biologic și, prin urmare, suferă de o lipsă de plauzibilitate neuroștiințifică. Cu toate acestea, structura rețelelor neuronale este derivată din cea a neuronilor biologici, iar această paralelă în structura de nivel scăzut este adesea argumentată a fi un avantaj al conexionismului în modelarea structurilor cognitive în comparație cu alte abordări. Un domeniu în care modelele conexioniste sunt considerate a fi neplauzibile din punct de vedere biologic este în ceea ce privește rețelele de propagare a erorilor care sunt necesare pentru a sprijini învățarea, dar propagarea erorilor poate explica o parte din activitatea electrică generată biologic observată la nivelul scalpului în potențiale legate de evenimente, cum ar fi N400 și P600, și aceasta oferă un anumit suport biologic pentru una din ipotezele cheie ale procedurilor de învățare conexionistă.

Învăţare

Greutățile dintr-o rețea neuronală sunt ajustate în funcție de o regulă sau un algoritm de învățare, cum ar fi învățarea Hebbian. Astfel, conectiștii au creat multe proceduri de învățare sofisticate pentru rețelele neuronale. Învățarea implică întotdeauna modificarea greutăților conexiunii. În general, acestea implică formule matematice pentru a determina modificarea ponderilor atunci când sunt date seturi de date constând din vectori de activare pentru un subset al unităților neuronale. Mai multe studii s-au concentrat pe proiectarea metodelor de predare-învățare bazate pe conexionism.

Prin formalizarea învățării într-un astfel de mod, conexioniștii au multe instrumente. O strategie foarte comună în metodele de învățare conexioniste este de a încorpora coborârea gradientului peste o suprafață de eroare într-un spațiu definit de matricea de greutate. Toată învățarea de coborâre a gradientului în modelele conexioniste implică modificarea fiecărei ponderi cu derivata parțială a suprafeței de eroare în raport cu greutatea. Backpropagation (BP), făcută populară pentru prima dată în anii 1980, este probabil cel mai cunoscut algoritm de coborâre a gradientului conexionist astăzi.

Conexiunea poate fi urmărită în idei vechi de mai mult de un secol, care au fost puțin mai mult decât speculații până la mijlocul până la sfârșitul secolului al XX-lea.

Procesare distribuită în paralel

Abordarea conexionistă predominantă astăzi a fost cunoscută inițial ca procesare distribuită paralelă (PDP). A fost o abordare a rețelei neuronale artificiale care a subliniat natura paralelă a procesării neuronale și natura distribuită a reprezentărilor neuronale. Acesta a oferit un cadru matematic general în care să opereze cercetătorii. Cadrul a implicat opt aspecte majore:

1. Un set de unități de procesare, reprezentat printr-un set de numere întregi.
2. O activare pentru fiecare unitate, reprezentată printr-un vector de funcții dependente de timp.
3. O funcție de ieșire pentru fiecare unitate, reprezentată de un vector de funcții pe activări.
4. Un model de conectivitate între unități, reprezentat de o matrice de numere reale care indică puterea conexiunii.
5. O regulă de propagare care răspândește activările prin conexiuni, reprezentată de o funcție pe ieșirea unităților.
6. O regulă de activare pentru combinarea intrărilor la o unitate pentru a determina noua sa activare, reprezentată de o funcție de activare și propagare curentă.
7. O regulă de învățare pentru modificarea conexiunilor pe baza experienței, reprezentată de o modificare a ponderilor pe baza oricărui număr de variabile.
8. Un mediu care oferă sistemului experiență, reprezentat de seturi de vectori de activare pentru un anumit subset de unități.

O mare parte din cercetările care au condus la dezvoltarea PDP au fost făcute în anii 1970, dar PDP a devenit popular în anii 1980 odată cu lansarea cărților Parallel Distributed Processing: Explorations in the Microstructure of Cognition – Volume 1 (foundations) și Volume 2 (Psychological and Biological Models), de James L. McClelland, David E. Rumelhart și PDP Research Group. Cărțile sunt acum considerate lucrări de conexionism fundamentale, iar acum este obișnuit să se echivaleze pe deplin PDP și conexionismul, deși termenul „conexionism” nu este folosit în cărți. Urmând modelul PDP, cercetătorii au teoretizat sisteme bazate pe principiile procesării distribuite paralele.

Activitatea timpurie

Rădăcinile directe ale PDP au fost teoriile perceptron ale unor cercetători precum Frank Rosenblatt din anii 1950 și 1960. Dar modelele de perceptron au devenit foarte nepopulare prin cartea Perceptrons de Marvin Minsky și Seymour Papert, publicată în 1969. Aceasta a demonstrat limitele tipurilor de funcții pe care perceptronii cu un singur strat (fără strat ascuns) le pot calcula, arătând că chiar și funcții simple precum disjuncția exclusivă (XOR) nu a putut fi tratată corespunzător. Cărțile PDP au depășit această limitare arătând că rețelele neuronale neliniare cu mai multe niveluri erau mult mai robuste și puteau fi utilizate pentru o gamă largă de funcții.

Mulți cercetători anteriori au susținut modele de stil conexionist, de exemplu în anii 1940 și 1950, Warren McCulloch și Walter Pitts (neuron MP), Donald Olding Hebb și Karl Lashley. McCulloch și Pitts au arătat cum sistemele neuronale ar putea implementa logica de ordinul întâi: lucrarea lor clasică „A Logical Calculus of Ideas Immanent in Nervous Activity” (1943) este importantă în această dezvoltare aici. Au fost influențați de opera importantă a lui Nicolas Rashevsky în anii 1930. Hebb a contribuit foarte mult la speculațiile despre funcționarea neuronală și a propus un principiu de învățare, învățarea Hebbian, care este folosit și astăzi. Lashley a susținut reprezentări distribuite ca urmare a eșecului său de a găsi ceva asemănător unei engrame localizate în anii de experimente cu leziuni.

Conexionism în afara PDP

Deși PDP este forma dominantă a conexionismului, alte lucrări teoretice ar trebui, de asemenea, clasificate drept conexioniste.

Multe principii conexioniste pot fi urmărite până la lucrările timpurii în psihologie, cum ar fi cea a lui William James. Teoriile psihologice bazate pe cunoștințele despre creierul uman erau la modă la sfârşitul secolului al XIX-lea. Încă din 1869, neurologul John Hughlings Jackson a argumentat pentru sisteme distribuite pe mai multe niveluri. Urmând această direcție, Principiile psihologiei lui Herbert Spencer, ediția a 3-a (1872) și Proiectul pentru o psihologie științifică a lui Sigmund Freud (compus în 1895) au propus teorii conexioniste sau proto-conexioniste. Acestea tindeau să fie teorii speculative. Dar, la începutul secolului al XX-lea, Edward Thorndike a experimentat învățarea care a postulat o rețea de tip conexionist.

Friedrich Hayek a conceput în mod independent modelul de învățare a sinapselor Hebbiane într-o lucrare prezentată în 1920 și a dezvoltat acel model într-o teorie globală a creierului constituită din rețele care construiesc sinapsele Hebbiane în sisteme mai mari de hărți și rețea de memorie. Lucrarea inovatoare a lui Hayek a fost citată de Frank Rosenblatt în lucrarea sa cu perceptron.

O altă formă de model conexionist a fost cadrul rețelei relaționale dezvoltat de lingvistul Sydney Lamb în anii 1960. Rețelele relaționale au fost folosite doar de lingviști și nu au fost niciodată unificate cu abordarea PDP. Drept urmare, acestea sunt acum folosite de foarte puțini cercetători.

Există, de asemenea, modele hibride conexioniste, care amestecă mai ales reprezentări simbolice cu modele de rețele neuronale. Abordarea hibridă a fost susținută de unii cercetători (cum ar fi Ron Sun).

(Include texte traduse și adaptate din Wikipedia de Nicolae Sfetcu)