Rezumarea automată de multiple documente în mineritul datelor, gen ChatGPT – Tehnici de evaluare

Rezumarea din mai multe documente este o procedură automată care vizează extragerea de informații din mai multe texte scrise despre aceeași temă. Raportul de rezumat rezultat permite utilizatorilor individuali, cum ar fi consumatorii profesioniști de informații, să se familiarizeze rapid cu informațiile conținute într-un grup mare de documente. În acest fel, sistemele de rezumat din mai multe documente completează agregatorii de știri care efectuează următorul pas pe drumul de a face față supraîncărcării de informații. Rezumarea mai multor documente se poate face și ca răspuns la o întrebare.

Rezumarea mai multor documente creează rapoarte de informații care sunt atât concise, cât și cuprinzătoare. Cu diferite opinii reunite și conturate, fiecare subiect este descris din mai multe perspective într-un singur document. Deși scopul unui scurt rezumat este de a simplifica procesul de căutare de informații și de a reduce timpul prin indicarea celor mai relevante documente sursă, rezumatul cuprinzător din mai multe documente ar trebui să conțină în sine informațiile necesare, limitând astfel necesitatea de a accesa fișierele originale la cazurile în care rafinarea este necesară. Rezumatele automate prezintă informații extrase din mai multe surse în mod algoritmic, fără nicio intervenție editorială sau umană subiectivă, făcându-l astfel complet imparțial.

Încorporarea diversității

Rezumatul extractiv din mai multe documente se confruntă cu o problemă de potențială redundanță. În mod ideal, am dori să extragem propoziții care sunt atât „centrale” (adică, conțin ideile principale) cât și „diverse” (adică, diferă unele de altele). LexRank tratează diversitatea ca o etapă finală euristică utilizând CSIS, iar alte sisteme au folosit metode similare, cum ar fi Relevanța marginală maximă (MMR), pentru a încerca să elimine redundanța în rezultatele de regăsire a informațiilor. Există un algoritm de clasare bazat pe grafice de uz general, cum ar fi Page/Lex/TextRank, care gestionează atât „centralitatea”, cât și „diversitatea” într-un cadru matematic unificat bazat pe absorbția mersurilor aleatoare ale lanțului Markov. (O plimbare aleatoare absorbantă este ca o plimbare aleatorie standard, cu excepția faptului că unele stări sunt acum stări absorbante care acționează ca „găuri negre” care fac ca mersul să se termine brusc în acea stare.) Algoritmul se numește GRASSHOPPER. Pe lângă promovarea explicită a diversității în timpul procesului de clasare, GRASSHOPPER incorporează o clasare anterioară (pe baza poziției propoziției în cazul rezumatului).

Rezultatele de ultimă oră pentru rezumarea mai multor documente, totuși, sunt obținute folosind amestecuri de funcții submodulare. Aceste metode au atins rezultatele de ultimă generație pentru Document Summarization Corpora, DUC 04 – 07. Rezultate similare au fost obținute și cu utilizarea proceselor punctuale determinante (care sunt un caz special de funcții submodulare) pentru DUC-04.

Funcțiile submodulare ca instrumente generice pentru rezumare

Ideea unei funcții de set submodular a apărut recent ca un instrument puternic de modelare pentru diferite probleme de rezumare. Funcțiile submodulare modelează în mod natural noțiunile de acoperire, informație, reprezentare și diversitate. În plus, mai multe probleme importante de optimizare combinatorie apar ca instanțe speciale de optimizare submodulară. De exemplu, problema setului de acoperire este un caz special de optimizare submodulară, deoarece funcția de acoperire setată este submodulară. Funcția set cover încearcă să găsească un subset de obiecte care acoperă un anumit set de concepte. De exemplu, în rezumatul documentului, ar dori ca rezumatul să acopere toate conceptele importante și relevante din document. Aceasta este un exemplu de acoperire setată. În mod similar, problema locației instalației este un caz special al funcțiilor submodulare. Funcția de locație a instalației modelează în mod natural acoperirea și diversitatea. Un alt exemplu de problemă de optimizare submodulară este utilizarea unui proces de punct determinant pentru a modela diversitatea. În mod similar, procedura de relevanță marginală maximă poate fi văzută și ca o instanță de optimizare submodulară. Toate aceste modele importante care încurajează acoperirea, diversitatea și informațiile sunt submodulare. În plus, funcțiile submodulare pot fi combinate eficient împreună, iar funcția rezultată este încă submodulară. Prin urmare, s-ar putea combina o funcție submodulară care modelează diversitatea, o alta care modelează acoperirea și să folosească supravegherea umană pentru a afla un model corect al unei funcții submodulare pentru problemă.

În timp ce funcțiile submodulare sunt probleme potrivite pentru rezumat, ele admit, de asemenea, algoritmi foarte eficienți pentru optimizare. De exemplu, un algoritm simplu avid admite o garanție constantă a factorului. În plus, algoritmul avid este extrem de simplu de implementat și poate scala la seturi de date mari, ceea ce este foarte important pentru problemele de rezumat.

Funcțiile submodulare au atins stadiul tehnicii pentru aproape toate problemele de rezumare. De exemplu, lucrările lui Lin și Bilmes (2012) arată că funcțiile submodulare obțin cele mai bune rezultate până în prezent pe sistemele DUC-04, DUC-05, DUC-06 și DUC-07 pentru rezumarea documentelor. În mod similar, lucrările lui Lin și Bilmes, 2011, arată că multe sisteme existente de rezumare automată sunt exemple de funcții submodulare. Acesta a fost un rezultat întrerupt prin stabilirea funcțiilor submodulare ca modele potrivite pentru problemele de rezumat.

Funcțiile submodulare au fost folosite și pentru alte sarcini de rezumare. Tschiatschek (2014) arată că amestecurile de funcții submodulare obțin rezultate de ultimă generație pentru rezumarea colecțiilor de imagini. În mod similar, Bairi (2015) arată utilitatea funcțiilor submodulare pentru rezumarea ierarhiilor de subiecte cu mai multe documente. Funcțiile submodulare au fost, de asemenea, folosite cu succes pentru a rezuma seturile de date de învățare automată.

Tehnici de evaluare

Cea mai obișnuită modalitate de a evalua caracterul informativ al rezumatelor automate este de a le compara cu rezumatele model create de om.

Tehnicile de evaluare se încadrează în intrinseci și extrinseci, inter-textuale și intra-textuale.

Evaluare intrinsecă și extrinsecă

O evaluare intrinsecă testează sistemul de rezumare în sine, în timp ce o evaluare extrinsecă testează rezumarea în funcție de modul în care afectează finalizarea unei alte sarcini. Evaluările intrinseci au evaluat în principal coerența și caracterul informativ al rezumatelor. Evaluările extrinseci, pe de altă parte, au testat impactul rezumatului asupra sarcinilor precum evaluarea relevanței, înțelegerea lecturii etc.

Inter-textual și intra-textual

Metodele intratextuale evaluează rezultatul unui sistem de rezumat specific, iar cele intertextuale se concentrează pe analiza contrastantă a rezultatelor mai multor sisteme de rezumare.

Raționamentul uman are adesea variații mari în ceea ce privește ceea ce este considerat un rezumat „bun”, ceea ce înseamnă că automatizarea procesului de evaluare este deosebit de dificilă. Evaluarea manuală poate fi folosită, dar aceasta necesită atât timp, cât și muncă, deoarece oamenii trebuie să citească nu numai rezumatele, ci și documentele sursă. Alte aspecte sunt cele referitoare la coerență și acoperire.

Una dintre metricile utilizate în Conferințele anuale de înțelegere a documentelor ale NIST, în care grupurile de cercetare își trimit sistemele atât pentru sarcini de rezumat, cât și de traducere, este metrica ROUGE (Recall-Oriented Understudy for Gisting Evaluation). În esență, calculează suprapuneri de n-grame între rezumatele generate automat și rezumatele umane scrise anterior. Un nivel ridicat de suprapunere ar trebui să indice un nivel ridicat de concepte partajate între cele două rezumate. Rețineți că valorile care se suprapun astfel nu pot oferi feedback cu privire la coerența unui rezumat. Rezoluția anaforelor rămâne o altă problemă care nu a fost încă rezolvată complet. În mod similar, pentru rezumarea imaginilor, Tschiatschek a dezvoltat un scor Visual-ROUGE care evaluează performanța algoritmilor pentru rezumarea imaginilor.

Provocări curente în evaluarea automată a rezumatelor

Evaluarea rezumatelor, fie manual, fie automat, este o sarcină grea. Principala dificultate în evaluare provine din imposibilitatea construirii unui standard de aur echitabil cu care să poată fi comparate rezultatele sistemelor. În plus, este, de asemenea, foarte greu să determinați ce este un rezumat corect, deoarece există întotdeauna posibilitatea ca un sistem să genereze un rezumat bun care este destul de diferit de orice rezumat uman utilizat ca aproximare a rezultatului corect.

Selectarea conținutului nu este o problemă deterministă. Oamenii sunt subiectivi, iar autori diferiți ar alege propoziții diferite. Și este posibil ca indivizii să nu fie consecvenți. O anumită persoană poate alege diferite propoziții în momente diferite. Două propoziții distincte exprimate în cuvinte diferite pot exprima același sens. Acest fenomen este cunoscut sub numele de parafrazare. Putem găsi o abordare pentru evaluarea automată a rezumatelor folosind parafraze (ParaEval).

Majoritatea sistemelor de rezumare efectuează o abordare extractivă, selectând și copiind propoziții importante din documentele sursă. Deși oamenii pot, de asemenea, să taie și să lipească informații relevante dintr-un text, de cele mai multe ori pot reformula propoziții atunci când este necesar sau unesc diferite informații conexe într-o singură propoziție.

Tehnici de rezumare specifice domeniului versus tehnici independente de domeniu

Tehnicile de rezumare independente de domeniu aplică în general seturi de caracteristici generale care pot fi utilizate pentru a identifica segmente de text bogat în informații. Accentul cercetărilor recente s-a îndreptat către tehnici de rezumare specifice domeniului care utilizează cunoștințele disponibile specifice domeniului textului. De exemplu, cercetarea de rezumare automată a textului medical încearcă în general să utilizeze diversele surse de cunoștințe și ontologii medicale codificate.

Evaluarea calitativă a rezumatelor

Principalul dezavantaj al sistemelor de evaluare existente până acum este că avem nevoie de cel puțin un rezumat de referință, iar pentru unele metode mai mult de unul, pentru a putea compara rezumatele automate cu modele. Aceasta este o sarcină grea și costisitoare. Trebuie depus multe eforturi pentru a avea corpus de texte și rezumatele corespunzătoare. În plus, pentru unele metode, nu numai că trebuie să avem la dispoziție rezumate realizate de oameni pentru comparare, dar și adnotarea manuală trebuie să fie efectuată în unele dintre ele (de exemplu, SCU în Metoda piramidei). În orice caz, metodele de evaluare au nevoie ca intrarea să fie un set de rezumate care să servească drept standarde de aur și un set de rezumate automate. Mai mult, toți efectuează o evaluare cantitativă cu privire la diferite metrici de similaritate. Pentru a depăși aceste probleme, considerăm că evaluarea cantitativă ar putea să nu fie singura modalitate de a evalua rezumatele, iar o evaluare automată calitativă ar fi, de asemenea, importantă.

Sursa: Drew Bentley, Business Intelligence and Analytics. © 2017 Library Press, Licență CC BY-SA 4.0. Traducere și adaptare: Nicolae Sfetcu