Măsurarea transferului de informații

Sursa: Thomas Schreiber (2000), Measuring Information Transfer, https://doi.org/10.48550/arXiv.nlin/0001042 (Rezumat)

Articolul „Measuring Information Transfer”, semnat de Thomas Schreiber, propune o măsură informațională nouă pentru cuantificarea transferului de informație între sisteme care evoluează în timp: entropia de transfer. Autorul pornește de la o limitare importantă a informației mutuale, folosită frecvent pentru a măsura dependența statistică dintre două procese. Deși informația mutuală arată cât de mult se suprapun conținuturile informaționale ale două sisteme, ea este simetrică și nu poate indica direcția transferului: nu spune dacă sistemul A influențează sistemul B sau invers. Nici introducerea unui decalaj temporal nu rezolvă complet problema, deoarece corelațiile pot proveni dintr-o istorie comună sau dintr-un semnal extern comun, nu neapărat dintr-un schimb real de informație.

Pentru a depăși această dificultate, Schreiber propune să nu fie analizate doar distribuțiile statice ale stărilor sistemelor, ci probabilitățile de tranziție, adică modul în care starea viitoare a unui sistem depinde de propriul său trecut și de starea altui sistem. În absența unui transfer de informație de la J la I, starea lui J nu ar trebui să îmbunătățească predicția stării viitoare a lui I, odată ce trecutul lui I este deja cunoscut. Entropia de transfer măsoară tocmai cât de mult se schimbă această predicție când includem informații despre J. Prin construcție, măsura este nesimetrică, astfel încât poate distinge între direcția J → I și direcția I → J.

Autorul fundamentează formal această idee folosind noțiuni din teoria informației: entropia Shannon, entropia Kullback și rata de entropie. În acest cadru, entropia de transfer apare ca o generalizare dinamică a ideii de dependență informațională, dar cu avantajul că ține cont de evoluția temporală și de direcția influenței. Ea permite, cel puțin în principiu, eliminarea efectelor produse de cauze comune, prin condiționarea suplimentară a probabilităților pe variabilele corespunzătoare acestor factori comuni. Din acest motiv, entropia de transfer este mai potrivită decât informația mutuală întârziată pentru studierea cauzalității statistice în serii temporale.

Articolul discută și dificultățile practice ale estimării acestei mărimi. Pentru sisteme continue, este necesară o discretizare sau o estimare prin nuclee a densităților de probabilitate, iar alegerea rezoluției influențează rezultatele. Schreiber arată că, în aplicațiile numerice, nu se poate atinge limita ideală a unei rezoluții infinit fine, astfel încât cercetătorul trebuie fie să studieze dependența rezultatului de rezoluție, fie să fixeze o scară adecvată pentru problema analizată. Sunt menționate și problemele specifice seriilor temporale, precum eșantioanele finite, corelațiile dinamice între puncte apropiate și necesitatea unor metode eficiente de căutare a vecinilor.

Pentru a demonstra utilitatea metodei, autorul prezintă trei exemple. Primul este o rețea unidimensională de hărți tent map cuplate unidirecțional. În acest caz, informația se poate propaga doar într-un singur sens, iar entropia de transfer reușește să detecteze corect această direcție: valoarea este pozitivă în sensul cuplajului și nulă în sens invers. Al doilea exemplu folosește o rețea de hărți Ulam, unde dinamica este mai complicată și apar bifurcații. Aici, informația mutuală întârziată poate indica valori nenule chiar și atunci când există doar corelații statice, fără producție sau schimb real de informație. În schimb, entropia de transfer reflectă mai fidel caracterul unidirecțional al cuplajului și devine nulă în regimurile unde nu există transport informațional real.

Al treilea exemplu privește o serie temporală fiziologică bivariată, alcătuită din rata respirației și ritmul cardiac instantaneu al unei persoane care doarme și suferă de apnee în somn. Informația mutuală întârziată apare aproape simetrică între cele două semnale, dar entropia de transfer sugerează un flux mai puternic de informație de la ritmul cardiac către respirație decât invers. Autorul interpretează acest rezultat cu prudență, observând că ambele semnale ar putea fi influențate de un factor comun, dar exemplul ilustrează capacitatea metodei de a detecta asimetrii dinamice invizibile pentru măsurile tradiționale.

Concluzia articolului este că entropia de transfer oferă un instrument promițător pentru analiza schimbului direcțional de informație între sisteme complexe. Spre deosebire de informația mutuală, ea este concepută pentru a reduce influența corelațiilor statice, a istoriei comune și a intrărilor comune. Domeniile de aplicare vizate includ analiza multivariată a seriilor temporale, sistemele fiziologice, sistemele spațio-temporale extinse și studiul fenomenelor de sincronizare sau propagare a informației. Articolul are importanță metodologică deoarece introduce o idee care a devenit ulterior centrală în analiza cauzalității informaționale: nu este suficient să știm că două sisteme sunt corelate, ci trebuie să determinăm dacă trecutul unuia contribuie efectiv la predicția viitorului celuilalt.