Entropia Shannon în teoria informației clasică

Fie S o mulțime finită și fie P(S) mulțimea distribuțiilor de probabilitate pe S, adică mulțimea aplicațiilor P : S → [0,1] cu Σ_s∈S P(s) = 1. Entropia Shannon a lui P ∈ P(S) este cantitatea

H(P) = – Σ_s∈S P(s) log P(S).   (21.1)

Entropia binară

În concordanță cu Nielsen și Chuang 2010, vom considera logaritmul ca fiind bazat pe log în baza doi, ceea ce este standard în informatică și teoria informației cuantice. Rețineți că alegerea bazei pentru logaritm afectează valoarea lui H doar printr-o constantă multiplicativă. Luăm 0log0 ≡ 0, în concordanță cu comportamentul limitativ al lui t log t. Astfel, H(P) = 0 dacă (și numai dacă) P(S) ⸦ {0,1}.

Entropia binară a unei distribuții de probabilitate cu două rezultate (p, 1 – p) este

H_bin(p) := -p log p – (1 – p) log(1 – p) = H(p, 1 – p) . (21.2)

Când este clar din context, vom scrie H(p) pentru H_bin(p). Rețineți că H(p) = H(1 – p) și max_p H(p) = H(1/2) = 1. Valoarea simplă 1 pentru maxim justifică alegerea logaritmului în baza 2 – dacă am fi luat logaritmul natural, maximul ar fi ln2. Deoarece

H’’(p) = -1/p -1/(1 – p) = -1/p(1 – p) < 0

entropia binară este strict concavă

H(tp + (1 – t)q) > tH(p) + (1 – t)H(q)   dacă p ≠ q și 0 < t < 1   (21.3)

Exercițiul 21.1. Fie S = {s₁, . . . , s_n}.

1) Arătați că

max_P∈P(S) H(P) = H(1/n’,   , 1/n) = log n .

2) Arătați că entropia Shannon este H este strict concavă pe P(S). Adică, dacă P, Q ∈ P(S) cu P ≠ Q și 0 < t < 1, atunci H(tP + (1 – t)Q) > tH(P) + (1 – t)H(Q).

Putem vorbi și despre entropia variabilelor aleatoare. Fie (Ω, Prob) un spațiu de probabilitate. O variabilă aleatoare simplă este o aplicație măsurabilă X definită pe Ω care ia doar un număr finit de valori. Fie ran X valorile posibile ale lui X și fie p_X distribuția lui X dată de P_X(x) = Prob[X = x] pentru x ∈ ran X. Entropia lui X este definită ca fiind H(X) = H(P_X).

Sursa: Jeffrey Schenker, Quantum Information Theory – Lecture Notes for Math 992 Spring 2022. Licența CC BY-NC 4.0. Traducere și adaptare: Nicolae Sfetcu