A învăța, a realiza, a prezice, a propune, a uita, a suferi: Analiza și clasificarea antropomorfismelor modelelor de limbaj de mari dimensiuni (LLM)

Sursa: Shardlow, M., Williams, A., Roadhouse, C., Ventirozos, F., & Przybyła, P. (2025). Learn, achieve, predict, propose, forget, suffer: Analysing and classifying anthropomorphisms of LLMs. Proceedings of the First Interdisciplinary Workshop on OMMM associated with RANLP 2025, 86–94. https://doi.org/10.26615/978-954-452-101-1-010 (Rezumat)

Articolul „Learn, Achieve, Predict, Propose, Forget, Suffer: Analysing and Classifying Anthropomorphisms of LLMs”, semnat de Matthew Shardlow, Ashley Williams, Charlie Roadhouse, Filippos Ventirozos și Piotr Przybyła, analizează modul în care modelele lingvistice mari sunt descrise printr-un limbaj antropomorfizant, atât în literatura științifică, cât și în comunicarea jurnalistică. Autorii pornesc de la ideea că antropomorfizarea — atribuirea unor caracteristici umane unor entități non-umane — poate fi utilă pentru claritatea exprimării, dar poate produce și confuzii privind capacitățile reale ale sistemelor de inteligență artificială. Termeni precum „a învăța”, „a înțelege”, „a prezice”, „a propune”, „a uita” sau „a suferi” pot sugera, în mod implicit, existența unor procese cognitive sau intenționale comparabile cu cele umane, deși modelele LLM funcționează prin mecanisme computaționale. Studiul urmărește atât identificarea caracteristicilor lingvistice asociate antropomorfizării, cât și dezvoltarea unor metode automate de clasificare a propozițiilor antropomorfizante.

Analiza se bazează pe Anthropomorphism Corpus, un corpus adnotat manual alcătuit din 601 rezumate ale unor articole ACL din 2022 și 49 de articole jurnalistice despre LLM-uri. În total, corpusul cuprinde 4.340 de propoziții, clasificate în trei categorii: limbaj non-antropomorf, antropomorfism ambiguu și antropomorfism explicit. Aproximativ 77% dintre propoziții sunt non-antropomorfe, 19,3% conțin antropomorfisme ambigue, iar 3,7% antropomorfisme explicite. În această schemă, antropomorfismul ambiguu desemnează formulări care descriu corect funcționarea unui model, dar care ar putea fi interpretate de un nespecialist ca indicând capacități umane, în timp ce antropomorfismul explicit presupune atribuirea neechivocă și eronată unor asemenea capacități.

Analiza lexicală evidențiază o serie de termeni corelați cu antropomorfizarea. Printre cei mai reprezentativi se află „learn”, „achieve”, „predict”, „propose”, „forgetting” și „suffer”. Formulări precum „modelul învață” sau „modelul realizează/atinge un obiectiv” sunt frecvente în limbajul tehnic, însă autorii subliniază că acestea pot sugera cititorului existența unei capacități de învățare sau de acțiune asemănătoare celei umane. Chiar expresia „models can” apare corelată cu antropomorfizarea, deoarece atribuie modelului o formă aparentă de capacitate sau agenție. În cazul antropomorfismului explicit, apar termeni precum „student”, asociat modelelor de tip „student” din distilarea modelelor, precum și numele unor produse comerciale. În textele jurnalistice, antropomorfizarea este legată mai ales de interacțiunea om–LLM prin verbe precum „ask” și „respond”, dar și de termeni mai dramatici, precum „destroy” sau „kill”, ceea ce indică o tendință spre formulări mai metaforice sau senzaționaliste.

A doua parte a studiului testează mai multe metode pentru clasificarea automată, la nivel de propoziție, a limbajului antropomorf. Autorii reduc problema la două clase — antropomorf și non-antropomorf — și experimentează cu SVM, Random Forest, modele BERT, RoBERTa și SciBERT, precum și cu Llama 3.1, GPT-4o și GPT-4 Turbo. Pentru a gestiona dezechilibrul dintre clase, sunt utilizate atât reducerea clasei majoritare, cât și supra-eșantionarea clasei minoritare prin parafrazare automată. Cele mai bune rezultate sunt obținute de RoBERTa-base, antrenat pe setul echilibrat prin down-sampling, cu un scor F1 de 0,564, recall de 0,756 și precizie de 0,450. Rezultatul arată că modelul identifică o proporție importantă dintre exemplele antropomorfe, dar tinde și să supraestimeze frecvența lor.

În schimb, LLM-urile mai mari nu se dovedesc superioare pentru această sarcină. Llama 3.1 obține rezultate moderate în regim zero-shot, in-context learning și fine-tuning, iar creșterea numărului de exemple nu produce îmbunătățiri consistente. În configurația cu 100 de exemple, GPT-4o și GPT-4 Turbo ating o acuratețe relativ ridicată, dar scorurile F1 pentru clasa antropomorfă rămân scăzute, respectiv 0,277 și 0,274, apropiate de performanța unor clasificatoare aleatorii. Autorii concluzionează astfel că, pentru corpusul analizat, modelele LLM moderne nu depășesc sistemul RoBERTa mai mic și specializat. Clasificarea funcționează ceva mai bine pentru textele jurnalistice decât pentru rezumatele științifice, ceea ce sugerează că antropomorfizarea jurnalistică este mai explicită și mai ușor de detectat automat.

În concluzie, studiul nu susține eliminarea completă a limbajului antropomorf din discursul despre inteligența artificială. Autorii recunosc chiar că descrierea LLM-urilor fără asemenea metafore este dificilă și că propriul articol conține inevitabil unele formulări antropomorfizante. Obiectivul este mai degrabă înțelegerea și cuantificarea fenomenului, astfel încât oamenii de știință și publicul larg să poată distinge mai bine între metafore utile și afirmații care induc în eroare cu privire la natura și capacitățile modelelor. Studiul propune astfel o bază pentru dezvoltarea unor instrumente viitoare de detectare a antropomorfizării și pentru o comunicare mai atentă și mai precisă despre sistemele de inteligență artificială.