Studiu privind halucinațiile în generarea limbajului natural cu IA

Sursa: Ji, Z., Lee, N., Frieske, R., et al. (2024). Survey of Hallucination in Natural Language Generation. arXiv:2202.03629, versiunea 7, 14 iulie 2024. https://doi.org/10.48550/arXiv.2202.03629 (Rezumat)

 

Dezvoltarea rapidă a inteligenței artificiale și a modelelor neuronale de generare a limbajului natural a permis producerea unor texte tot mai fluente, coerente și apropiate de exprimarea umană. Aceste progrese sunt însă însoțite de o problemă fundamentală: tendința sistemelor de a genera informații incorecte, contradictorii sau insuficient susținute de datele disponibile, fenomen cunoscut sub denumirea de halucinație. Articolul analizează sistematic această problemă, examinând cauzele sale, metodele de identificare și strategiile propuse pentru limitarea efectelor.

Autorii disting două categorii principale de halucinații. Halucinațiile intrinseci apar atunci când informațiile generate contrazic explicit conținutul sursei utilizate. Halucinațiile extrinseci constau în introducerea unor afirmații care nu pot fi confirmate sau infirmate pe baza informațiilor inițiale. Această distincție evidențiază diferența dintre fidelitatea față de sursă și corectitudinea factuală: o afirmație poate fi adevărată în realitate, dar să nu fie justificată de documentul pe care sistemul trebuia să îl prelucreze. În consecință, evaluarea unui text generat automat presupune atât verificarea corespondenței cu sursa, cât și examinarea autenticității informațiilor prezentate.

Originea halucinațiilor este complexă și implică atât calitatea datelor de antrenare, cât și mecanismele interne ale modelelor neuronale. Seturile de date pot conține erori, contradicții, redundanțe sau asocieri necorespunzătoare între informațiile de intrare și rezultatele așteptate. În plus, modelele pot învăța relații statistice înșelătoare, pot interpreta greșit contextul sau pot acorda o importanță excesivă informațiilor memorate în timpul antrenării. Strategiile de generare a textului, inclusiv cele care favorizează diversitatea răspunsurilor, pot amplifica riscul introducerii unor elemente nejustificate. Astfel, halucinațiile nu reprezintă exclusiv consecința unor date defectuoase, ci reflectă și limitele arhitecturilor și procedurilor de învățare automată.

Identificarea acestor erori constituie o provocare distinctă. Indicatorii tradiționali de evaluare a textelor generate, precum BLEU și ROUGE, măsoară în principal asemănarea dintre formulări și nu garantează corectitudinea informațiilor. Cercetările recente propun metode mai sofisticate, bazate pe extragerea relațiilor dintre entități, formularea automată de întrebări, inferența în limbaj natural și clasificarea consistenței factuale. Evaluarea umană rămâne importantă, deoarece sistemele automate întâmpină dificultăți în identificarea contradicțiilor subtile și în interpretarea contextelor complexe.

Pentru reducerea halucinațiilor sunt investigate mai multe direcții complementare. Acestea includ selecția și curățarea datelor de antrenare, îmbogățirea informațiilor disponibile prin surse externe, modificarea mecanismelor de atenție și decodificare, utilizarea învățării prin recompensă și verificarea ulterioară a textelor generate. O atenție specială este acordată metodelor care permit controlarea conținutului și corectarea afirmațiilor nejustificate fără compromiterea fluenței sau diversității exprimării.

Fenomenul se manifestă diferit în funcție de aplicație. În rezumarea automată, principala dificultate constă în păstrarea fidelității față de documentul original. În sistemele conversaționale trebuie menținut un echilibru între creativitate și consecvența informațională. În traducerea automată pot apărea formulări fără legătură cu textul inițial, iar în transformarea datelor structurate în text există riscul interpretării incorecte a valorilor și relațiilor. Sistemele care combină limbajul cu imaginile pot atribui scenelor obiecte sau caracteristici inexistente.

O secțiune importantă examinează halucinațiile modelelor lingvistice mari, precum cele utilizate în sistemele conversaționale moderne. Capacitatea acestora de a formula răspunsuri convingătoare face ca erorile să fie mai greu de recunoscut. Printre soluțiile analizate se numără generarea asistată de recuperarea informațiilor din surse externe (Retrieval-Augmented Generation – RAG), ajustarea modelelor pe baza feedbackului uman și estimarea incertitudinii răspunsurilor. Totuși, accesul la informații suplimentare nu garantează eliminarea halucinațiilor, deoarece sursele recuperate pot fi incomplete, contradictorii sau nesigure.

Autorii subliniază necesitatea dezvoltării unor metode de evaluare mai precise, capabile să localizeze erorile și să diferențieze informațiile false de cele doar neverificate. Alte priorități includ tratarea corectă a datelor numerice, îmbunătățirea performanțelor în domenii specializate și limbi cu resurse limitate, precum și dezvoltarea capacității modelelor de a-și recunoaște limitele cunoașterii și de a exprima incertitudinea.

În concluzie, halucinațiile reprezintă o limitare structurală importantă a sistemelor neuronale de generare a limbajului, nu doar o deficiență tehnică izolată. Reducerea lor necesită integrarea unor metode de antrenare, evaluare și verificare factuală, precum și o înțelegere teoretică mai profundă a mecanismelor prin care modelele produc informații. Progresul în acest domeniu este esențial pentru dezvoltarea unor sisteme de inteligență artificială mai fiabile, transparente și sigure, îndeosebi în aplicațiile științifice, medicale, juridice și educaționale.