Înțelegerea limbajului natural: Despre semnificație, formă și înțelegere în era datelor

Sursa: Emily M. Bender and Alexander Koller. 2020. Climbing towards NLU: On Meaning, Form, and Understanding in the Age of Data. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pages 5185–5198, Online. Association for Computational Linguistics. (Rezumat)

Articolul „Climbing towards NLU: On Meaning, Form, and Understanding in the Age of Data”, semnat de Emily M. Bender și Alexander Koller, analizează critic afirmația potrivit căreia modelele lingvistice neuronale de mari dimensiuni, precum BERT sau GPT-2, ar „înțelege” limbajul ori ar fi învățat sensul acestuia. Autorii nu contestă performanțele și utilitatea practică a acestor modele, dar susțin că succesul în predicția și prelucrarea textului nu trebuie confundat cu înțelegerea limbajului într-un sens asemănător celui uman. Teza centrală este că un sistem antrenat exclusiv pe forma lingvistică nu poate învăța, în principiu, sensul, deoarece datele sale de instruire nu conțin legătura dintre expresiile lingvistice, intențiile comunicatorilor și lumea despre care aceștia vorbesc.

Prin „formă”, autorii înțeleg manifestarea observabilă a limbajului: caractere, cuvinte, propoziții, sunete, pixeli sau alte reprezentări materiale. Sensul este definit ca relația dintre o expresie și intenția comunicativă pe care aceasta o poate transmite. Pentru ca o persoană să înțeleagă o propoziție, nu este suficient să identifice regularitățile cuvintelor; ea trebuie să recupereze sensul convențional al expresiei și să deducă intenția vorbitorului pe baza contextului, a situației și a cunoștințelor despre lume. În comunicarea umană, ascultătorul participă activ la construirea interpretării, formulând ipoteze despre ceea ce interlocutorul dorește să comunice.

Modelele lingvistice pot învăța numeroase regularități formale: acordul gramatical, relații sintactice, categorii de cuvinte, asemănări lexicale sau tipare statistice complexe. Totuși, performanța lor pe anumite teste poate proveni din exploatarea unor indicii accidentale din seturile de date, nu din raționamentul presupus de sarcina respectivă. În unele experimente, performanța BERT scade puternic atunci când exemplele sunt modificate astfel încât euristicile lexicale și sintactice superficiale să nu mai funcționeze. Prin urmare, rezultatul corect nu demonstrează automat că sistemul a ajuns la el „din motivele corecte”.

Ideea principală este ilustrată prin celebrul „test al caracatiței”. Două persoane izolate pe insule comunică printr-un cablu submarin. O caracatiță foarte inteligentă interceptează mesajele și, observând un volum enorm de conversații, învață să prezică răspunsurile probabil adecvate. Ea ar putea imita convingător un interlocutor în conversații banale, deoarece acestea pot fi continuate prin reproducerea tiparelor statistice. Dar, neavând acces la insule și la obiectele despre care se vorbește, caracatița nu știe la ce se referă termeni precum „frânghie”, „nucă de cocos” sau „urs”. Într-o situație nouă, practică ori periculoasă, ea nu poate transforma mesajele în acțiuni adecvate. Răspunsurile sale pot părea semnificative numai deoarece interlocutorul uman le atribuie o intenție.

Experimentul arată diferența dintre reproducerea distribuției formelor și comunicarea bazată pe sens. Fără posibilitatea de a formula și verifica ipoteze despre intențiile comunicatorilor și despre realitatea la care se referă mesajele, sistemul nu poate rezolva problema ancorării simbolurilor. Cantitatea de text nu elimină această dificultate: oricât de multe tipare ar observa modelul, acestea rămân reflectări indirecte ale activității umane, nu relații propriu-zise între cuvinte și lume.

Autorii invocă și cercetările despre dobândirea limbajului de către copii. Copiii nu învață sensurile numai prin expunere pasivă la sunete și propoziții, ci prin interacțiune socială, atenție comună și participarea la situații în care copilul și adultul se raportează la aceleași obiecte. Limbajul uman este astfel ancorat simultan în lumea fizică și în relațiile intersubiective. Pentru sistemele artificiale, o direcție promițătoare ar fi combinarea textului cu imagini, percepție, acțiune, dialog și semnale privind reușita interacțiunii.

În final, articolul întreabă dacă cercetarea în procesarea limbajului natural „urcă dealul potrivit”. Progresele măsurate pe teste izolate sunt reale, dar nu garantează apropierea de înțelegerea umană. Autorii recomandă folosirea prudentă a termenilor „sens”, „înțelegere” și „raționament”, evaluarea modelelor pe sarcini variate, construirea unor teste mai realiste și analiza atentă atât a erorilor, cât și a succeselor. Concluzia este una de optimism moderat: modelele lingvistice învață reprezentări foarte utile ale regularităților prin care sensul se reflectă în text, dar aceste reprezentări nu trebuie confundate cu sensul însuși. Pentru realizarea unei veritabile înțelegeri a limbajului natural sunt necesare ancorarea în lume, interacțiunea și accesul la intențiile comunicative.