Entropia diferențială este analogul continuu al entropiei Shannon, folosit în teoria informației pentru distribuții de probabilitate absolut continue. Dacă entropia Shannon măsoară incertitudinea asociată unei variabile aleatoare discrete, entropia diferențială încearcă să extindă această idee la variabile aleatoare continue, definite printr-o funcție de densitate de probabilitate. Pentru o variabilă aleatoare (X), cu densitatea (f(x)), entropia diferențială este definită prin media valorii (−log𝑓(𝑋)), adică prin integrala (−∫𝑓(𝑥)log𝑓(𝑥),𝑑𝑥). Baza logaritmului stabilește unitatea de măsură: baza 2 dă biți, iar baza (e) dă nați.
O idee importantă a articolului este că entropia diferențială seamănă cu entropia discretă, dar nu are toate proprietățile acesteia. În cazul discret, entropia este întotdeauna nenegativă, în timp ce entropia diferențială poate fi negativă. Exemplul dat este distribuția uniformă pe intervalul ((0,1/2)), care are entropie diferențială (-\log 2), mai mică decât distribuția uniformă pe ((0,1)), a cărei entropie este zero. Aceasta se explică prin faptul că o densitate de probabilitate poate avea valori mai mari decât 1, ceea ce nu are analog direct în probabilitățile discrete.
Articolul subliniază și o diferență conceptuală esențială: entropia diferențială depinde de unitățile în care este măsurată variabila. De exemplu, aceeași mărime exprimată în milimetri poate avea o entropie diferențială diferită de aceeași mărime exprimată în metri, diferența fiind legată de factorul de scalare dintre unități. De aceea, entropia diferențială nu este invariabilă la schimbări arbitrare de coordonate și trebuie interpretată cu atenție, mai ales atunci când variabilele au dimensiuni fizice. În schimb, mărimi derivate precum informația mutuală continuă păstrează mai bine semnificația informațională, fiind legate de limita informației mutuale discrete când partițiile devin tot mai fine.
Secțiunea despre proprietăți arată că unele reguli cunoscute din cazul discret rămân valabile. Divergența Kullback–Leibler este nenegativă, informația mutuală este nenegativă, iar entropia condiționată (h(X|Y)) este cel mult egală cu (h(X)), cu egalitate atunci când variabilele sunt independente. Regula lanțului se păstrează și ea: entropia comună a mai multor variabile poate fi exprimată ca sumă de entropii condiționate. Entropia diferențială este invariantă la translații, adică (h(X+c)=h(X)), dar nu este invariantă la scalare: pentru o constantă (a), (h(aX)=h(X)+\log |a|). Pentru vectori aleatori și transformări liniare, apare determinantul matricei de transformare.
Un rezultat central este faptul că distribuția normală maximizează entropia diferențială atunci când varianța este fixată. Cu alte cuvinte, dintre toate variabilele aleatoare cu aceeași varianță, variabila gaussiană este cea mai „incertă” în sens informațional. Articolul prezintă demonstrația prin divergența Kullback–Leibler: deoarece această divergență este întotdeauna nenegativă, rezultă că entropia oricărei distribuții cu aceeași varianță este cel mult egală cu entropia distribuției normale corespunzătoare. Este menționată și o demonstrație alternativă prin calcul variațional, în care distribuția gaussiană apare ca soluție a problemei de maximizare sub constrângerile de normalizare, medie și varianță.
Articolul oferă apoi exemple concrete. Pentru distribuția exponențială cu parametrul (𝜆), entropia diferențială în baza (e) este (1 −log𝜆). De asemenea, este prezentată o relație cu eroarea de estimare: entropia diferențială furnizează o limită inferioară pentru eroarea pătratică medie a unui estimator, iar egalitatea apare în cazul gaussian, când estimatorul este media variabilei. Urmează un tabel cu formulele entropiei diferențiale pentru numeroase distribuții, printre care uniformă, normală, exponențială, Rayleigh, beta, Cauchy, gamma, Laplace, logistică, lognormală, Pareto, Student și normală multivariată.
În final, articolul atrage atenția că entropia diferențială nu este întotdeauna cea mai potrivită generalizare a entropiei discrete. Deoarece poate fi negativă și nu este invariantă la transformări continue de coordonate, se pot folosi variante bazate pe o măsură de referință, precum entropia relativă sau divergența Kullback–Leibler, care oferă o formulare mai robustă și invariantă. Articolul explică și legătura cu cuantizarea: dacă o variabilă continuă este aproximată prin intervale discrete tot mai mici, entropia discretă corespunzătoare include un termen care diverge, ceea ce sugerează că entropia discretă a unei variabile continue, luată ca limită directă, ar deveni infinită. Astfel, entropia diferențială este utilă, dar trebuie interpretată ca o mărime specifică distribuțiilor continue, nu ca o simplă transpunere a entropiei Shannon discrete.
Fizica fenomenologică – Compendiu – Volumul 2
Descoperă universul fizicii printr-o perspectivă fenomenologică captivantă!
Fizica fenomenologică – Compendiu – Volumul 1
O explorare cuprinzătoare a fizicii, combinând perspective teoretice cu fenomene din lumea reală.
Căldura – Termodinamica fenomenologică
O incursiune profundă în lumea fascinantă a termodinamicii, explorând conceptele fundamentale ale căldurii și temperaturii.
Descoperă mai multe la MultiMedia
Abonează-te ca să primești ultimele articole prin email.
Lasă un răspuns