Teoria informaţiei

Teoria informaţiei este o ramură a matematicii aplicate şi ingineriei electrice care se ocupă de cuantificarea informaţiei. Din punct de vedere istoric teoria informaţiei a fost dezvoltată de Claude E. Shannon pentru a determina limitele fundamentale ale comprimării şi stocării  datelor de comunicare. Ulterior conceptul s-a lărgit incluzând aplicaţii din diverse domenii, precum deducţiile statistice, procesarea limbajului natural, criptografie, reţelistică, şi alte domenii fără legătură cu comunicaţiile, precum neurobiologia, evoluţia şi funcţiile codurilor moleculare, selecţia modeleleor în ecologie, fizica căldurii, calculul cuantic, detecţia plagiarismului şi alte tipuri de analiză a datelor.

O măsură de bază a informaţiei în teorie este entropia, care este exprimată de obicei prin numărul mediu de biţi necesari pentru stocare sau comunicare. Intuitiv, entropia cuantifică incertitudinile implicate atunci când întâlnim o variabilă aleatorie. De exemplu, la rotirea unei monezi (unde sunt posibile două evenimente egale ca probabilitate) avem o entropie mai mică decât în cazul rostogolirii unui zar (unde există 6 posibile evenimente de egală probabilitate).

Aplicaţii ale teoriei informaţiei includ compresia fără pierderi a datelor (de ex., fişiere ZIP), compresia datelor cu pierdere de informaţii (de ex., fişiere MP3), şi codarea canalelor (de ex., liniile DSL). Domeniul se găseşte la intersecţia matematicii, statisticii, ştiinţei calculatoarelor, fizicii, neurobiologiei, şi ingineriei electrice. Impactul său a fost crucial în misiunea navei spaţiale Voyager în spaţiul cosmic, invenţia discului compact, fezabilitatea telefoanelor mobile, dezvoltarea Interetului, studiul lingvisticii şi al percepţiei umane, înţelegerea găurilor negre, şi în numeroase alte domenii. Subdomenii importante ale teoriei informaţiei includ codarea, codarea canalelor, teoria complexităţii algoritmice, teoria informaţiei algoritmice, şi măsurarea informaţiei.

Cărţi despre teoria informaţiei

• Claude E. Shannon, Warren Weaver. The Mathematical Theory of Communication. Univ of Illinois Press, 1949. ISBN 0-252-72548-4

• Robert Gallager. Information Theory and Reliable Communication. New York: John Wiley and Sons, 1968. ISBN 0-471-29048-3

• Robert B. Ash. Information Theory. New York: Interscience, 1965. ISBN 0-470-03445-9. New York: Dover 1990. ISBN 0-486-66521-6

• Thomas M. Cover, Joy A. Thomas. Elements of information theory, 1st Edition. New York: Wiley-Interscience, 1991. ISBN 0-471-06259-6.
  2nd Edition. New York: Wiley-Interscience, 2006. ISBN 0-471-24195-4.

• Imre Csiszar, Janos Korner. Information Theory: Coding Theorems for Discrete Memoryless Systems Akademiai Kiado: 2nd edition, 1997. ISBN 9630574403

• Raymond W. Yeung. A First Course in Information Theory Kluwer Academic/Plenum Publishers, 2002. ISBN 0-306-46791-7

• David J. C. MacKay. Information Theory, Inference, and Learning Algorithms Cambridge: Cambridge University Press, 2003. ISBN 0-521-64298-1

• Raymond W. Yeung. Information Theory and Network Coding Springer 2008, 2002. ISBN 978-0-387-79233-0

• Stanford Goldman. Information Theory. New York: Prentice Hall, 1953. New York: Dover 1968 ISBN 0-486-62209-6, 2005 ISBN 0-486-44271-3

• Fazlollah Reza. An Introduction to Information Theory. New York: McGraw-Hill 1961. New York: Dover 1994. ISBN 0-486-68210-2

• Masud Mansuripur. Introduction to Information Theory. New York: Prentice Hall, 1987. ISBN 0-13-484668-0

• Christoph Arndt: Information Measures, Information and its Description in Science and Engineering (Springer Series: Signals and Communication Technology), 2004, ISBN 978-3-540-40855-0

Alte cărţi

• Leon Brillouin, Science and Information Theory, Mineola, N.Y.: Dover, [1956, 1962] 2004. ISBN 0-486-43918-6

• A. I. Khinchin, Mathematical Foundations of Information Theory, New York: Dover, 1957. ISBN 0-486-60434-9

• H. S. Leff and A. F. Rex, Editors, Maxwell’s Demon: Entropy, Information, Computing, Princeton University Press, Princeton, NJ (1990). ISBN 0-691-08727-X

• Tom Siegfried, The Bit and the Pendulum, Wiley, 2000. ISBN 0-471-32174-5

• Charles Seife, Decoding The Universe, Viking, 2006. ISBN 0-670-03441-X

• Jeremy Campbell, Grammatical Man, Touchstone/Simon & Schuster, 1982, ISBN 0-671-44062-4

• Henri Theil, Economics and Information Theory, Rand McNally & Company – Chicago, 1967.