Entropia în teoria informației

În teoria informației, entropia este o măsură matematică a incertitudinii asociate rezultatelor posibile ale unei variabile aleatoare sau, echivalent, a cantității medii de informație obținute atunci când aflăm rezultatul acesteia. Conceptul a fost introdus de Claude Shannon în lucrarea sa fundamentală din 1948, A Mathematical Theory of Communication, și constituie una dintre noțiunile centrale ale teoriei informației. Ideea de bază este că valoarea informațională a unui mesaj depinde de cât de surprinzător este acesta: un eveniment foarte probabil transmite puțină informație, în timp ce producerea unui eveniment improbabil furnizează o cantitate mare de informație.

Cantitatea de informație asociată unui eveniment cu probabilitatea (p) este exprimată prin relația (I=-\log p). Prin urmare, dacă un eveniment este sigur, probabilitatea sa fiind 1, informația furnizată de producerea lui este zero; dacă evenimentul este foarte improbabil, informația asociată este mare. Entropia Shannon reprezintă media acestei informații pentru toate rezultatele posibile ale unei variabile aleatoare și este definită prin formula:

H(X) = − ∑_x p(x)logp(x).

Unitatea în care este măsurată entropia depinde de baza logaritmului. Pentru logaritmul în baza 2, unitatea este bitul; pentru logaritmul natural se utilizează unitatea nat, iar pentru baza 10 pot fi utilizate unități precum hartley sau ban.

Un exemplu simplu este aruncarea unei monede. Dacă moneda este perfect echilibrată, astfel încât probabilitatea fiecărei fețe este 1/2, incertitudinea este maximă, iar entropia este de 1 bit. Dacă însă moneda ar produce întotdeauna aceeași față, rezultatul ar fi complet previzibil și entropia ar fi zero. În general, pentru (n) rezultate posibile, entropia maximă este (\log_2 n) și apare atunci când toate rezultatele sunt egal probabile. Cu cât distribuția probabilităților este mai dezechilibrată și rezultatul mai previzibil, cu atât entropia este mai mică.

Această interpretare are consecințe directe pentru codificarea și compresia datelor. Shannon a demonstrat că entropia unei surse stabilește limita teoretică până la care datele provenite de la aceasta pot fi comprimate fără pierderi. Dacă toate simbolurile unui mesaj sunt la fel de probabile, fiecare necesită aproximativ același număr de biți. Dacă unele simboluri apar însă mult mai frecvent decât altele, acestora li se pot atribui coduri mai scurte, iar simbolurilor rare coduri mai lungi, reducând astfel numărul mediu de biți necesari pentru transmiterea mesajului. Acest principiu stă la baza multor metode moderne de compresie.

Entropia prezintă o serie de proprietăți matematice importante. Cunoașterea unei informații suplimentare nu poate crește, în general, incertitudinea referitoare la o variabilă, motiv pentru care entropia condiționată satisface relația H(X∣Y) ≤ H(X). Pentru două variabile independente, entropia lor comună este suma entropiilor individuale, iar în cazul general entropia comună nu poate depăși această sumă. De asemenea, aplicarea unei funcții unei variabile nu poate crea informație suplimentară în sensul lui Shannon: entropia rezultatului este cel mult egală cu cea a variabilei inițiale.

Conceptul are o analogie matematică importantă cu entropia din termodinamică și mecanica statistică. Formula entropiei Gibbs are aceeași structură formală cu formula lui Shannon atunci când probabilitățile sunt asociate microstărilor unui sistem fizic. Totuși, în teoria informației, entropia descrie în primul rând incertitudinea și informația asociată unei distribuții probabilistice, fără a fi necesar ca sistemul analizat să fie unul fizic.

Aplicațiile entropiei depășesc cu mult comunicațiile digitale. Ea este utilizată în statistică, teoria probabilităților, combinatorică, ecologie — unde indicele Shannon măsoară diversitatea —, criptografie și analiza proceselor stocastice. În criptografie, entropia poate caracteriza gradul de imprevizibilitate al unei chei, deși articolul subliniază că ea nu descrie întotdeauna perfect dificultatea practică a unui atac prin încercări succesive.

Entropia joacă și un rol esențial în învățarea automată și inteligența artificială. Arborii de decizie folosesc reducerea entropiei, numită information gain, pentru a selecta variabilele care separă cel mai eficient datele. Metodele bayesiene pot utiliza principiul entropiei maxime pentru stabilirea distribuțiilor inițiale, iar clasificarea realizată prin regresie logistică sau rețele neuronale folosește frecvent funcția de pierdere bazată pe entropia încrucișată (cross-entropy) pentru a măsura diferența dintre distribuția reală și cea prezisă de model.

În esență, entropia informațională exprimă matematic cât de mult nu știm înainte de observarea unui rezultat și, implicit, câtă informație obținem după ce îl aflăm. Cu cât un sistem este mai imprevizibil, cu atât entropia sa este mai mare; cu cât este mai determinist și mai previzibil, cu atât entropia este mai mică. Prin legătura dintre probabilitate, informație, compresie și predicție, conceptul introdus de Shannon a devenit unul dintre fundamentele matematice ale comunicațiilor moderne, informaticii și inteligenței artificiale.