entropia Shannon

În teoria informației, entropia este o măsură matematică a incertitudinii asociate rezultatelor posibile ale unei variabile aleatoare sau, echivalent, a cantității medii de informație obținute atunci când aflăm rezultatul acesteia. Conceptul a fost introdus de Claude Shannon în lucrarea sa … Citeşte mai mult

Fie S o mulțime finită și fie P(S) mulțimea distribuțiilor de probabilitate pe S, adică mulțimea aplicațiilor P : S → [0,1] cu Σs∈S P(s) = 1. Entropia Shannon a lui P ∈ P(S) este cantitatea H(P) = – Σs∈S … Citeşte mai mult