ReAct: Integrarea raționamentului și acțiunii în modelele lingvistice de inteligență artificială

Sursa: Yao, Shunyu, et al. (2023). „ReAct: Synergizing Reasoning and Acting in Language Models”. International Conference on Learning Representations (ICLR 2023). https://arxiv.org/abs/2210.03629 (Rezumat)

 

Dezvoltarea modelelor lingvistice de mari dimensiuni (LLM) a evidențiat capacitatea inteligenței artificiale de a rezolva probleme complexe prin raționament și de a executa acțiuni în medii interactive. Totuși, cele două capacități au fost abordate mult timp separat: unele sisteme sunt concepute pentru a construi explicații și deducții succesive, în timp ce altele urmăresc realizarea unor sarcini prin executarea unor instrucțiuni. Studiul propune depășirea acestei separări printr-o metodă numită ReAct (Reasoning and Acting), care integrează raționamentul și acțiunea într-un proces dinamic de rezolvare a problemelor.

Principiul fundamental al metodei constă în alternarea etapelor de analiză, acțiune și observare a rezultatelor. În loc să formuleze un răspuns exclusiv pe baza informațiilor dobândite în timpul antrenării, modelul poate identifica ceea ce nu cunoaște, poate consulta surse externe și își poate modifica strategia în funcție de informațiile obținute. Astfel, raționamentul orientează acțiunile, iar rezultatele acțiunilor contribuie la îmbunătățirea raționamentului. Această interdependență reproduce, într-o formă computațională, anumite caracteristici ale rezolvării umane a problemelor.

ReAct se diferențiază de metoda Chain-of-Thought, bazată pe dezvoltarea succesivă a unor pași de raționament, prin posibilitatea confruntării deducțiilor cu informații externe. Raționamentul realizat exclusiv pe baza cunoștințelor interne ale modelului poate produce afirmații nefondate, cunoscute drept halucinații, care se propagă în etapele ulterioare ale procesului. În schimb, ReAct permite verificarea informațiilor și corectarea direcției investigației. Totodată, comparativ cu sistemele care execută numai acțiuni, metoda oferă o capacitate superioară de planificare, identificare a obiectivelor intermediare și adaptare la situații neprevăzute.

Autorii au evaluat metoda în patru categorii de sarcini. Primele două, HotpotQA și FEVER, presupun răspunsuri la întrebări care necesită corelarea mai multor informații și verificarea unor afirmații factuale. Pentru acestea, sistemul a utilizat o interfață de acces la Wikipedia, efectuând căutări și selectând informații relevante înainte de formularea răspunsurilor. Rezultatele au indicat că integrarea consultării surselor externe reduce frecvența afirmațiilor inventate, deși nu elimină toate erorile de raționament.

Celelalte două experimente au urmărit luarea deciziilor în medii interactive. În ALFWorld, un mediu virtual care simulează activități casnice, agentul trebuia să localizeze obiecte și să execute operații succesive pentru îndeplinirea unor obiective. În WebShop, sistemul trebuia să navigheze într-un magazin online simulat și să identifice produse corespunzătoare unor cerințe precise. În ambele situații, alternarea raționamentului cu acțiunile a îmbunătățit performanțele. În ALFWorld, cea mai bună configurație ReAct a obținut o rată de succes de 71%, comparativ cu 37% pentru sistemul de referință BUTLER. În WebShop, ReAct a atins o rată de succes de 40%, depășind cu aproximativ zece puncte procentuale metodele anterioare bazate pe învățare prin imitație sau prin recompensă.

O contribuție importantă a cercetării privește interpretabilitatea comportamentului inteligenței artificiale. Deoarece sistemul produce o succesiune explicită de raționamente, acțiuni și observații, utilizatorii pot examina modul în care au fost adoptate anumite decizii. Devine astfel mai ușor să se distingă între informațiile provenite din cunoștințele interne ale modelului și cele obținute din mediul extern. Această caracteristică facilitează identificarea erorilor și intervenția umană pentru corectarea procesului.

Studiul evidențiază și limitele abordării. ReAct poate întâmpina dificultăți atunci când căutările nu furnizează informații utile, când modelul repetă inutil anumite acțiuni sau când sarcinile necesită planificări foarte extinse. De asemenea, performanța depinde de calitatea exemplelor utilizate pentru orientarea modelului. Experimentele preliminare de ajustare suplimentară a parametrilor (fine-tuning) sugerează că aceste dificultăți pot fi diminuate prin antrenare specializată.

Autorii atrag atenția și asupra riscurilor asociate sistemelor capabile să interacționeze autonom cu mediul extern, inclusiv accesarea unor informații confidențiale sau executarea unor acțiuni nedorite. În consecință, extinderea autonomiei agenților AI trebuie însoțită de mecanisme adecvate de control și supraveghere.

În concluzie, ReAct reprezintă un pas important în evoluția modelelor lingvistice de la simple sisteme de generare a textului către agenți inteligenți capabili să combine analiza, verificarea informațiilor și acțiunea orientată către obiective. Cercetarea demonstrează că eficiența inteligenței artificiale nu depinde exclusiv de capacitatea de raționament sau de accesul la informații, ci și de integrarea coerentă a acestora într-un proces adaptiv, verificabil și susceptibil de intervenție umană.