Entropia în teoria informației

|

În teoria informației, entropia este o măsură matematică a incertitudinii asociate rezultatelor posibile ale unei variabile aleatoare sau, echivalent, a cantității medii de informație obținute atunci când aflăm rezultatul acesteia. Conceptul a fost introdus de Claude Shannon în lucrarea sa … Citeşte mai mult

Entropia cuantică comună în teoria informației

|

Entropia cuantică comună generalizează entropia comună clasică în contextul teoriei informației cuantice. Intuitiv, având în vedere două stări cuantice ρ și σ, reprezentate ca operatori de densitate care sunt subpărți ale unui sistem cuantic, entropia cuantică comună este o măsură … Citeşte mai mult

Ce este teoria informației?

|

Teoria informației este studiul matematic al cuantificării, stocării și comunicării unui anumit tip de informație definită matematic. Domeniul a fost stabilit și formalizat de Claude Shannon în anii 1940, deși primele contribuții au fost făcute în anii 1920 prin lucrările … Citeşte mai mult

Entropia Shannon în teoria informației clasică

|

Fie S o mulțime finită și fie P(S) mulțimea distribuțiilor de probabilitate pe S, adică mulțimea aplicațiilor P : S → [0,1] cu Σs∈S P(s) = 1. Entropia Shannon a lui P ∈ P(S) este cantitatea H(P) = – Σs∈S … Citeşte mai mult