Ce este teoria informației?

Teoria informației este studiul matematic al cuantificării, stocării și comunicării unui anumit tip de informație definită matematic. Domeniul a fost stabilit și formalizat de Claude Shannon în anii 1940, deși primele contribuții au fost făcute în anii 1920 prin lucrările lui Harry Nyquist și Ralph Hartley. Se află la intersecția dintre ingineria electronică, matematică, statistică, informatică, neurobiologie, fizică și inginerie electrică.

Ca un exemplu simplu, dacă arunci corect o monedă și nu știi rezultatul (cap sau pajură), atunci îți lipsește o anumită cantitate de informații. Dacă te uiți la monedă, vei cunoaște rezultatul și vei obține aceeași cantitate de informații. Pentru o monedă aruncată corect, probabilitatea ca aceasta să iasă cap sau pajură este 1/2, iar această cantitate de informații poate fi exprimată ca − log₂( 1 / 2 ) = 1 bit de informație.

O măsură cheie în teoria informației este entropia informațională. Entropia este egală cu lipsa de informații despre o variabilă aleatorie sau rezultatul unui proces aleatoriu. În exemplul de mai sus, cu aruncarea unei monede, entropia în cazul în care nu cunoașteți rezultatul este de 1 bit. În cazul în care cunoașteți rezultatul, entropia este zero. Ca un alt exemplu, cunoașterea rezultatului unei aruncări corecte a unei monede (care are două rezultate egal probabile) oferă mai puține informații (entropie mai mică, mai puțină incertitudine) decât identificarea rezultatului dintr-o aruncare cu zarul (care are șase rezultate egal probabile). Alte măsuri importante în teoria informației sunt informația reciprocă, capacitatea canalului, exponenții de eroare și entropia relativă. Subdomeniile importante ale teoriei informației includ codarea surselor, teoria complexității algoritmice, teoria informației algoritmice și securitatea teoretică a informației.

Aplicațiile subiectelor fundamentale ale teoriei informației includ codarea surselor/compresia datelor (de exemplu, pentru fișiere ZIP) și codarea canalului/detectarea și corectarea erorilor (de exemplu, pentru DSL). Impactul său a fost crucial pentru succesul misiunilor Voyager în spațiul cosmic, inventarea compact discului, fezabilitatea telefoanelor mobile și dezvoltarea internetului și a inteligenței artificiale. Teoria și-a găsit aplicații și în alte domenii, inclusiv inferența statistică, criptografia, neurobiologia, percepția, procesarea semnalelor, lingvistica, evoluția și funcția codurilor moleculare (bioinformatică), fizica termică, dinamica moleculară, găurile negre, calculul cuantic, recuperarea informațiilor, colectarea de informații, detectarea plagiatului, recunoașterea modelelor, detectarea anomaliilor, analiza muzicii, creația artistică, proiectarea sistemelor de imagistică, studiul spațiului cosmic, dimensionalitatea spațiului, i epistemologia.

Prezentare generală

Teoria informației studiază transmiterea, procesarea, extragerea și utilizarea informațiilor. Abstract, informația poate fi considerată ca rezoluția incertitudinii. În cazul comunicării informațiilor pe un canal zgomotos, acest concept abstract a fost formalizat în 1948 de Claude Shannon într-o lucrare intitulată „O teorie matematică a comunicării”, în care informația este considerată un set de mesaje posibile, iar scopul este de a trimite aceste mesaje pe un canal zgomotos și ca receptorul să reconstruiască mesajul cu o probabilitate scăzută de eroare, în ciuda zgomotului canalului. Principalul rezultat al lui Shannon, teorema codificării canalului zgomotos, a arătat că, în limita multor utilizări ale canalului, rata de informații care este realizabilă asimptotic este egală cu capacitatea canalului, o cantitate dependentă doar de statisticile canalului prin care sunt trimise mesajele.

Teoria codificării se ocupă de găsirea unor metode explicite, numite coduri, pentru creșterea eficienței și reducerea ratei de eroare a comunicării de date pe canale zgomotoase până aproape de capacitatea canalului. Aceste coduri pot fi subdivizate aproximativ în tehnici de compresie a datelor (codare sursă) și tehnici de corectare a erorilor (codare canal). În acest ultim caz, a fost nevoie de mulți ani pentru a găsi metodele pe care munca lui Shannon le-a dovedit a fi posibile.

O a treia clasă de coduri ale teoriei informației sunt algoritmii criptografici (atât coduri, cât și cifruri). Conceptele, metodele și rezultatele din teoria codificării și teoria informației sunt utilizate pe scară largă în criptografie și criptanaliză, cum ar fi interdicția unităților.

Context istoric

Evenimentul de referință care a stabilit disciplina teoriei informației și a adus-o în atenția lumii imediate a fost publicarea lucrării clasice a lui Claude Shannon „O teorie matematică a comunicării” în Bell System Technical Journal în iulie și octombrie 1948. Istoricul James Gleick a calificat lucrarea drept cea mai importantă dezvoltare a anului 1948, menționând că lucrarea era „chiar mai profundă și mai fundamentală” decât tranzistorul. El a ajuns să fie cunoscut drept „părintele teoriei informației”. Shannon și-a prezentat câteva dintre ideile inițiale despre teoria informației încă din 1939 într-o scrisoare către Vannevar Bush.

Înainte de această lucrare, la Bell Labs fuseseră dezvoltate idei limitate despre teoria informației, toate presupunând implicit evenimente cu probabilitate egală. Lucrarea lui Harry Nyquist din 1924, „Anumiți factori care afectează viteza telegrafului”, conține o secțiune teoretică care cuantifică „informațiile” și „viteza liniei” la care acestea pot fi transmise de un sistem de comunicații, dând relația W = K log m (reamintind constanta Boltzmann), unde W este viteza de transmitere a informațiilor, m este numărul de niveluri diferite de tensiune din care se poate alege la fiecare pas de timp, iar K este o constantă. Lucrarea lui Ralph Hartley din 1928, „Transmiterea informațiilor”, folosește cuvântul „informație” ca o cantitate măsurabilă, reflectând capacitatea receptorului de a distinge o secvență de simboluri de oricare alta, cuantificând astfel informația ca H = log Sⁿ = n log S, unde S era numărul de simboluri posibile, iar n numărul de simboluri dintr-o transmisie. Unitatea de informație era, prin urmare, cifra zecimală, care de atunci a fost uneori numită hartley în onoarea sa, ca unitate, scală sau măsură a informației. Alan Turing a folosit în 1940 idei similare ca parte a analizei statistice a spargerii cifrurilor Enigma germane din cel de-al Doilea Război Mondial.

O mare parte din matematica din spatele teoriei informației cu evenimente cu probabilități diferite a fost dezvoltată pentru domeniul termodinamicii de către Ludwig Boltzmann și J. Willard Gibbs. Conexiunile dintre entropia teoretică a informației și entropia termodinamică, inclusiv contribuțiile importante ale lui Rolf Landauer din anii 1960, sunt explorate în lucrarea „Entropia în termodinamică și teoria informației”.

În lucrarea revoluționară și inovatoare a lui Shannon, a cărei activitate fusese în mare parte finalizată la Bell Labs până la sfârșitul anului 1944, Shannon a introdus pentru prima dată modelul calitativ și cantitativ al comunicării ca proces statistic care stă la baza teoriei informației, începând cu afirmația:

„Problema fundamentală a comunicării este aceea de a reproduce la un moment dat, fie exact, fie aproximativ, un mesaj selectat la un alt punct.”

Odată cu aceasta au apărut ideile:

• Entropia informațională și redundanța unei surse și relevanța acesteia prin teorema codificării sursei;
• Informația reciprocă și capacitatea canalului unui canal zgomotos, inclusiv promisiunea unei comunicări perfecte fără pierderi dată de teorema codificării canalului zgomotos;
• Rezultatul practic al legii Shannon-Hartley pentru capacitatea canalului unui canal gaussian; precum și
• Bitul – o nouă modalitate de a vedea cea mai fundamentală unitate de informație.

(Include texte traduse și adaptate din Wikipedia de Nicolae Sfetcu)