Informace

Informace (z lat. in-formatio, utváření, ztvárnění) je velmi široký, mnohoznačný pojem, který se užívá v různých významech. V nejobecnějším smyslu je informace chápána jako údaj o dění v reálném světě. Informace snižuje nejistotu (neurčitost znalosti) člověka o dění v jisté části reálného světa. Cestou ke snížení té nejistoty je poznání tj. získání informace o oné části reálného světa. Množství informace lze charakterizovat tím, jak se jejím získáním změnila míra nejistoty příjemce.^[1] O měření množství informace je pojednáno níže v odst. Kvantifikace.

V běžné řeči:
- informace jako vědění, které lze předávat, jako obsah zprávy či sdělení;
- informace (plurál) – místo, kde se lze o něčem informovat.
V informatice se operuje s řetězci znaků (Hartley), které lze vysílat, přijímat, uchovávat a zpracovávat technickými prostředky. Příjem znaku (zprávy) dodaného sdělovacím zařízením, snižuje nejistotu příjemce o tom, který ze znaků mohl obdržet. Množství informace je rozdíl mezi neurčitostí příjemcovy informace před a po přijetí zprávy o obdrženém znaku.

Původ pojmu

Latinské informatio znamená původně vtištění formy či tvaru, utváření. Slovo se však metaforicky používalo pro „utváření mysli“ – učení a vzdělávání – a odtud dalším významovým posunem mohlo znamenat i sdělení, zprávu. Odtud pochází slovo informátor, doložené od 16. století. Zkrácený tvar info vznikl až ve 20. století v angličtině. Vědecký zájem o informaci začíná také až ve 20. století v souvislosti s elektronickou komunikací a počítači a na druhé straně se studiem obecného uspořádání, struktur a kódů.

Definice

Cesta k definici: Pojem může být definován několika způsoby, jedním z nich je vytyčení určujícími rysy – invariantními příznaky entity (reálného či abstraktního světa) ke které odkazuje. Ty z invariantních příznaků, které jsou sdělitelné, lze použít pro vytyčení-definici pojmu. Invariantní příznaky pojmu informace jsou uvedeny v následujících odstavcích, a jejich souhrn tvořící definici je:

Informace:

Je abstraktní entita (myšlenkový konstrukt).
Snižuje nejistotu (neurčitost znalosti) člověka o dění v jisté části reálného světa.
Jejím zdrojem je poznání.
Lze ji ukládat, transportovat a zpracovávat k získání jiné, pro daný účel požadované informace.
Vždy je vázána na jazyk, který s ní umožňuje provádět výše uvedené operace.
Člověku umožňuje jiný pohled na dění v reálném světě (vidění jiných jevů a souvislostí), než umožňuje působení interakcí, jež je klíčové pro přírodní i technické vědy.

Informace ve vědě

Informace je abstraktní entita,^[2]^[3] pro její uchopení – pro archivaci (pamatování), a tak i šíření (sdělování), nebo pro její zpracování – je nutný nějaký „kontejner“, říká se mu jazyk, do něj je vtisknuta. Jazyk je abstraktní struktura (řád mezi vhodnými primitivy),^[4]^[5] která pro aplikaci musí být materializována vhodnou strukturou hmoty či energie. Informace je uchopovací nástroj člověka (podobně jako mnohé jiné, např. souřadnice prostoru či jeho metrika, kauzalita a další). Pojem informace má být odpovědí na otázku, co to (jakou entitu) získáváme poznáváním (reálného světa), co ukládáme, když pamatujeme, co transportujeme, když sdělujeme. Říkáme, že informaci, ale ve skutečnosti jen ten (přírodou zapečetěný) kontejner – jazykové konstrukty.

Obvykle rozlišujeme elementární a komplexnější informaci. Elementárním říkáme data (ze smyslových orgánů člověka, ze snímačů, čidel a měřících zařízení), komplexnějším, vybudovaným na rozpoznaných souvislostech mezi daty, říkáme znalosti.

Informace a jazyk

Důvody proč informace vyžaduje kontejner – jazyk jsou dva:

Princip lidské komunikace, kterým člověka obdařila příroda, neboť jazyk je v ní zásadní součástí. V tomto případě jazykové konstrukty – formy (slova, věty) slouží jako pointery (ukazatelé) do vnitropsychického kognitivního modelu příjemce zprávy, umožňující mu přiřadit přijatému jazykovému konstruktu – formě (slovu, větě) informaci, kterou považuje za nejvhodnější. Toto přiřazení se nazývá konotace a znamená, že příjemce zprávy jazykové formě porozuměl, přiřadil ji význam. (toto je jen část potřebná pro vysvětlení funkce jazyka, celý princip lidské komunikace viz níže: Přenos informace – komunikace)
Archivaci (pamatování), šíření i zpracování informace nelze provést jinak, než využitím procesů reálného (materiálního) světa. Má-li se v reálném světě něco dít, musejí probíhat interakce. Znamená to, že informaci, která je abstraktní entitou (není aktérem), je třeba včlenit do reálného světa interakcí, učinit ji aktérem v něm. Lze to pouze prostřednictvím jazyka (informace jako abstraktní entita je jinak neuchopitelná), který je nositelem informace výše popsaným způsobem (tedy tak, že jeho konstrukty slouží jako pointery). Proto všechny výše zmíněné operace s informací, jsou ve skutečnosti operacemi s kontejnerem – jazykem.

Jazyk má vzhledem k informaci funkci prostředníka, který jí umožňuje (propůjčuje ji své vlastnosti) přestoupit z jednoho prostředí do jiného prostředí, z lidské psýchy (biochemických a elektrochemických interakcí probíhajících v lidském mozku) do vnějšího reálného světa interakcí a obráceně. Takovému prostředníkovi se někdy říká vehikulum. Takto označuje vnější sdělovací jazyk např. sémiotik Charles William Morris.^[6] Jazyk materializací se dostávající do světa interakcí, může být i vykonavatelem příkazu – informace (např. vyvolá pohyb ramena robota), aspoň tak to někdy chceme vidět, avšak fyzika to vidí jako řetěz interakcí.

Tak i Shannonova entropie se týká jazyka (i když v tomto případě na jeho abstraktní úrovni), nikoli informace,^[7] a je mírou neurčitosti výskytu znaků-jazykových konstruktů ve zprávě.^[8] Jaké informace ony jazykové konstrukty vyvolávají v psýše příjemce zprávy, je v tomto případě mimo hranice diskursu. Někteří autoři mylně tvrdí, že Shannon ke své entropii došel z myšlenky stavící na tom, že některá informace je pro příjemce překvapivější či důležitější než jiná, a tak je lze kvantitativně ohodnotit. Avšak příjemce zprávy nelze vyzpovídat takovým způsobem, aby získané výsledky bylo možno použít pro přestup (použití) do exaktního světa (matematiky), ve kterém Shannon formuloval svoji entropii. Tento problém přenosu dat z lidské psýchy do exaktního světa je blíže popsán na fuzzy logika. Shannon se dostal tak blízko k entitě informace, jak to umožňuje exaktní věda. V Shannonově přístupu lze nalézt volnou paralelu s výše uvedenou překvapivostí obdržené informace. A to při jeho zkoumání informace obsažené v pravděpodobnostním rozdělení (viz Kvantifikace), kdy za překvapivější mohou být považovány výskyty jevů méně pravděpodobných, tedy méně očekávaných.

Je vidět jistá výjimečnost pojmu informace, neboť v podstatě, i to že informace existuje v lidské psýše, je lidská tvůrčí představa, ve skutečnosti je to výsledek biochemických a elektrochemických interakcí probíhajících v lidském mozku zajišťujících pamatování, sdělování i zpracování toho, čemu říkáme informace. Informace je tedy skutečně jen jiné vidění reálného světa, než vidění interakcí, jiná interpretace. Je lhostejné, jedná-li se o dění v lidském mozku či vně, v jiné části reálného světa. Je pro nás vžité, přijatelné a užitečné, že v mozku pamatujeme i zpracováváme informaci, tedy myslíme. Je tak např. možno studovat zákonitosti myšlení. Informace je pro člověka důležitý uchopovací nástroj – pojem.

Zdroj informace

Primárním zdrojem informace je poznání. Je to zrození informace, ta před tím neexistovala. Poznání je však možné jen se současným záznamem poznaného (informace) do jazyka, i v lidské psýše se předpokládají vnitropsychické jazyky. Poznání neposkytne samotnou informaci, ale její jazykové uchopení. Proto pro každé poznání musí být k dispozici adekvátní jazyk, buď se o to postarala příroda, nebo ho vytvořil člověk. Pokud takový jazyk neexistuje, musí být předem vytvořen viz Exaktní věda, Věda, a musí být „na míru“ poznání, říká se adekvátní. Budování nových matematických disciplín, které nabízejí nové jazyky, jsou často impulzem pro nové možnosti poznání, např. zejména ve fyzice částic.

Typy poznání

Přirozené – filtrem poznání je vágnost – získaná informace s inherentní vnitřní vágností. Jazyk je přirozený (neformální), jen ten je schopen, díky své vágní, subjektivní a emocionální interpretaci (říkáme jí konotace) převzít informaci (svázanou s inherentní vágností) získanou přirozeným poznáním.
Umělé, exaktní (Newton) – diskrétní filtr poznání – získaná informace s nulovou vnitřní vágností viz Exaktní věda, Věda. Jazyk musí být formální – matematika, formální logika, programovací jazyky. Jen takový jazyk je schopen reprezentovat informaci s nulovou vnitřní vágností interpretace, získanou exaktním poznáním. Výsledkem poznání je informace, jsou to rozpoznané přírodní zákony zapsané matematickým jazykem, jako vztahy mezi veličinami. Podle použitého jazyka se mu říká matematický model.

Poznamenejme, že se používá ještě poněkud jinak chápaný pojem zdroj informace ve schématu, kterému se říká Sdělovací kanál. Tam je zdroj informace jakékoli zvolené referenční místo, které pro daný úkol považujeme za to, ze kterého se informace šíří bez ohledu na způsob jejího získání. Může to být třeba místo na konstrukci letadla, ze kterého se radarový paprsek někam odráží, a pro danou úlohu řešenou z hlediska přenosu informace, je podstatné, co se děje od tohoto místa někam dále. Obvykle je to cesta odražené části paprsku do přijímací antény, přijímače a dále do řetězce zpracování této informace.

Podstata informace

Podstata informace je jedna, má však dvě výše uvedené nezaměnitelné modifikace (typy) dané vazbou s inherentní vnitřní vágností (neurčitostí). Informace získaná poznáním obohatí kognitivní (znalostní) model člověka, zmenší jeho pochybnosti o dění v jisté části reálného světa, sníží tak jeho nejistotu, původně strach z neznáma, z hladové šelmy v buši, zvýší jeho šanci na přežití. Je to ale jiný druh nejistoty, než je vágnost – nástroj (filtr) přirozeného lidského poznání. Souvisí s mírou poodhalení té věčně zamlžené „pravdy“ hledané člověkem. Exaktní svět je obvykle rozlišuje způsobem reprezentace: vágnost fuzzy nástroji, nejistotu poznání stochastickými nástroji. Hypotéza charakterizující informaci jako entitu odstraňující nejistotu o dění v reálném světě, se stala dominantní, a je na ni postavena teorie informace.

Informace je abstraktní entita (kdybychom ji byli schopni měřit, byla by veličinou) světa kognitivních (znalostních) modelů reálného světa tvořených člověkem. Informace vznikne poznáním (je to její zdroj), pokud by člověk neměl schopnost poznání, nebyla by informace. Lidské abstraktní konstrukce mimo lidský svět neexistují, některé z nich lze uchopit (formulovat) vnějším sdělovacím jazykem, příkladem je matematika, geometrie, architektonické náčrty, skulptury a jiné jazykové útvary.

Kvantifikace

Tento odstavec ukazuje cestu od prvních myšlenek (Hartley), jak kvantifikovat informaci, po Shannonovo epochální stanovení množství informace jako míry odstranění neurčitosti. Tato cesta byla otevřena tak, že místo nástrojově neuchopitelné informace se používají její nástrojově uchopitelní nositelé – znaky (jazykové konstrukty). Od jejich úlohy nositelů „vtištěné“ informace je však zcela obhlédnuto, a sleduje se pouze řád, ve kterém se znaky objevují jejich příjemci. V tomto řádu je obsažena (je jím určena) předmětná informace, která je nadále ústředním pojmem (formální) informatiky, a tak předmětem zkoumání.^[9] Podstatné je, že při této záměně je zachován princip, že příchody znaků příjemci snižují neurčitost toho, jaký znak by mohl přijít, podobně jako získání informace příjemci snižuje neurčitost jeho znalosti o dění v jisté části reálného světa.

Z oboru techniky sdělování (přenosu) informace vyšel první pokus (Ralph Hartley 1928) nalézt metodu měření množství přenesené informace,^[10] tak i rychlost, jako množství informace přenesené za jednotku času. Hartley přišel s myšlenkou, kdy měření množství informace je založeno na předpokladu (modelu), že odesílatel zprávy má k dispozici (konečnou) množinu znaků např. anglickou abecedu, ze kterých vytváří posloupnosti, a ty odesílá. Shannon za podpory matematika Warrena Weavera rozšířil Hartleho model myšlenkou, že pro účely kvantifikace informace mohou být sekvence místo operátora (odesílatele) generovány náhodným jevem, aniž by se tím porušil princip snižování neurčitosti při jejich příjmu. Řád, jímž je informace určena, je pak rozdělení pravděpodobnosti onoho náhodného jevu. V takovém pojetí je zároveň k dispozici nástroj umožňující vyjádřit (Shannonovu) ideu, že získání informace znamená snížení neurčitosti: Informace je údaj o tom, že nastal jev z množiny možných náhodných jevů, což příjemci sníží neurčitost znalosti o tom, který z jevů mohl nastat.

Rozhodnutí, že místo nástrojově neuchopitelné informace se budou používat nástrojově uchopitelné jazykové konstrukty, tak zachovává princip, že se jedná o snižování neurčitosti znalostí příjemce:

Získání informace snižuje nejistotu znalostí příjemce o dění v jisté části reálného světa. (Uznávaná hypotéza o podstatě informace i lidské vnímání podstaty informace)
Příjem znaku (jazykové konstrukce) dodaného sdělovacím zařízením, snižuje nejistotu příjemce o tom, který znak mohl obdržet. A poněkud abstraktněji: Informace je údaj o tom, že nastal jev z množiny možných náhodných jevů, což příjemci sníží neurčitost znalosti o tom, který z jevů mohl nastat.

A tato poslední věta je již shannonovské pojetí, kdy Shannon (ve své práci^[11]) z něj vychází jeho formalizovaným (matematickým) vyjádřením (Shannon citace):

Předpokládejme, že máme množinu možných událostí, jejichž pravděpodobnost výskytu je

p1, p2, ... pn.

Tyto pravděpodobnosti jsou známy, ale to je vše, co víme o tom, která událost nastane. Můžeme najít měřítko toho, kolik „volby“ je zahrnuto ve výběru události nebo jak nejistí jsme ohledně výsledku?

Pokud taková míra existuje, řekněme veličina H (p1, p2,…, pn), je rozumné požadovat od ní následující vlastnosti:

H by mělo být spojité v pi.
Pokud jsou všechna pi stejná, pi = 1 /n, pak H by měla být monotónní rostoucí funkce proměnné n. U stejně pravděpodobných událostí existuje větší výběr nebo nejistota, při rostoucím počtu možných událostí.
Pokud je volba rozdělena na dvě po sobě jdoucí volby, původní H by měl být vážený součet jednotlivých hodnot H.

Shannon dokazuje, že jediná funkce, která výše uvedené vlastnosti splňuje, je tvaru

H=-K\sum _{i=1}^{n}p_{i}\log(p_{i})

kde K je kladná konstanta, jejíž hodnota určuje měřítko jednotek (pro měření v řádu jednotek bitů se klade K = 1), ve kterých se veličina H udává, a log je logaritmická funkce, jejíž základ se položí roven 2, pokud má H být udáváno v bitech.

Shannon formuloval problém nalezení míry informace pro konečný soubor pravděpodobností

p1, p2,... pn

a Shannonovým cílem bylo zjistit, kolik neurčitosti je obsaženo v rozdělení pravděpodobnosti takového souboru. Pak veličinu H interpretoval jako míru informace, výběru a neurčitosti (measures of information, choice and uncertainty). Několik výkladů významu Shannonova vztahu pro H, je uvedeno např. v práci^[12], a též na Informační entropie.

Doplnění:

Důvodem, proč Shannon svoji úlohu, kdy hledal míru informace (kvantifikaci) formuloval v exaktním světě, tedy nástroji matematiky, je, že kvantifikaci lze formulovat pouze v exaktním světě, neboť ve světě vágnosti lidské psýchy lze cokoliv kvantifikovat pouze vágně, subjektivně a emocionálně.
Typ informace, o kterou se jedná v pojetí Hartleyho a následně Shannona, je určen tím, že je to informace reprezentovaná nástroji exaktního světa zde jazykem matematiky. Není to obecná informace, ale informace reprezentovaná formálním jazykem, takže to nemůže být informace jiného typu, než exaktní viz Jazyk (lingvistika), Věda. Má tedy buď exaktní interpretaci (do reálného světa viz Exaktní), nebo nemá žádnou, což je v matematice běžné. Nemůže to tedy být „lidská“ informace s inherentní vnitřní vágností, tu je schopna interpretovat pouze lidská psýcha viz konotace. Lidská informace s inherentní vnitřní vágností, a exaktní informace s nulovou vnitřní vágností interpretace, mají společnou podstatu, snižují neurčitost v poznání příjemce a spolu tvoří veškerou informaci, kterou člověk používá.
Jak na Shannonovu práci reagují lingvisté, je zřejmé z jejich stesků, že Shannon, na jejich zájmy ve své práci zapomněl:^[13] Předchozí odstavec jim napoví, že Shannonova míra informace se týká pouze exaktní informace, a že lidská inherentně vágní informace a její případné měření spadá do kompetence kognitivní psychologie.

Důsledkem rozhodnutí uvažovat jazykové konstrukty místo informace, je pro kvantifikaci informace ten, že pokud jisté pomyslné množství informace vtiskneme do dvou jazyků s různou strukturou znaků, bude množství změřené informace obsažené v každém z jazyků jiné. Toto je důvod, který způsobil hledání jazykových struktur, které jsou schopny přenést více (té pomyslné) informace. Je to soutěž mezi jazyky s různou strukturou z hlediska vtisknuté informace, avšak ve fyzice, chemii, ....jsou hlediska jiná, tam je to hledání jazyka, který je schopen popsat zkoumaný jev. Jazyková struktura se dá uchopit způsobem, kterému se říká kódování, a vyvinul se tak obor kódování, hledání kódů potřebných vlastností např. přenášejících maximální množství informace, odolných vůči chybě v přenosu znaků na úkor množství užitečné informace apod. Přesto že se tedy neměří informace, ale struktura jazyka vytyčená řádem jazykových znaků (primitiv), vyhovuje tento způsob měření množství informace kvantifikaci informační kapacity přenosového zařízení, kvantifikaci kapacity paměti zařízení i kvantifikaci rychlosti zpracování informace (ve skutečnosti jazykových konstruktů). Hartley vytyčil inspirující cestu, a nastalo myšlenkové pokračování. Na hypotéze, že informace působí snížení neurčitosti, dal Shannon základy teorii informace jako exaktní vědě (v článku: Claude Elwood Shannon, Warren Weaver: „A mathematical theory of communication“ v r. 1948) viz Informační entropie. Mnoho dalších vědců na ni navázalo.

Vlastní informace

Nechť X je množina n možných událostí xi, s pravděpodobnostmi výskytu (někdy se říká realizace nebo výběr) pi, a kde ∑ pi = 1.

Množství informace I(xi), které je v každé jednotlivé události xi, která má pravděpodobnost výskytu pi, lze stanovit jako funkci pravděpodobnosti výskytu té události takto (Hartlyho míra informace):

I(xi) = -log(pi), (0 < pi ≤ 1)

Pokud se za základ logaritmu zvolí 2, je hodnota I(xi) uvedena v bitech. Znaménko mínus před logaritmem je vloženo proto, že logaritmus pro uvedený interval argumentu (0 < pi ≤ 1) má zápornou funkční hodnotu, a množství informace I(xi) musí být kladná hodnota.

I(xi) se nazývá vlastní informace (ang. self-information), tj. množství informace, kterou přinese výskyt události xi. Vztah pro I(xi) matematicky demonstruje myšlenku, že čím je pravděpodobnost pi výskytu události xi menší (tedy vzácnější), tím její výskyt přináší větší množství informace. Případ pi = 0 (výskyt, který nemůže nastat) je nutno vyloučit, neboť by odpovídající informace byla nekonečná, což nelze připustit, model-vztah pro I(xi) by neodpovídal skutečnosti.

Pokud se ze všech I(xi) jichž je n, vytvoří vážený průměr, kde váhami jsou příslušné pravděpodobnosti pi, vznikne výše uvedený vztah pro Shannonovu entropii H. Entropie H je tak váženou střední hodnotou vlastních informací všech n jevů xi, a hodnota entropie H tak vyjadřuje průměrné množství vlastní informace na jeden výskyt pravděpodobnostního jevu xi.

Informace - odstranění neurčitosti

Jestliže jistá zpráva obsahuje K výskytů (např. znaků) pravděpodobnostního jevu X, a průměrné množství informace na jeden výskyt ve zprávě je dáno hodnotou entropie H (kdy se vážený průměr provede pro oněch K výskytů), pak ona zpráva přináší množství informace I = K * H. Tak neurčitost, která byla zprávou příjemci odstraněna, je rovna onomu množství informace I. To je případ, kdy se zachovává výše uvedené shannonovské odhlédnutí od reality, kdy výskyty jevů se považují za na sobě nezávislé, neboť se jedná o obecný případ, kdy nelze jejich závislost specifikovat. V konkrétních případech, např. kdy znaky náleží jistému přirozenému jazyku, se může navíc uvažovat, jak pravděpodobnost výskytu jistého znaku závisí (je podmíněna) na výskytu předchozího znaku (případně více předchozích znaků), jak je to onomu jazyku vlastní, což je pro řadu přirozených jazyků statisticky vypočítáno a publikováno ^[14]. Závislostí mezi znaky je pak ovlivněna i hodnota entropie H a tak i hodnota odstraněné neurčitosti, neboť závislost mezi výskytem znaků „napovídá“ (nese informaci), který znak by mohl následovat, což snižuje nepředvídatelnost těch jevů, a tak hodnotu entropie.Tuto situaci matematicky reprezentuje vztah

I(X;Y) = H(X) - H(X/Y)

uvedený v následujícím odstavci, kde nyní

I(X; Y) představuje průměrnou informaci na jeden výskyt (znak) z K výskytů obsažených ve zprávě,

H(X) je průměrná informace na jeden výskyt (znak) v případě, kdy znaky ve zprávě jsou nezávislé,

H(X/Y) je průměrná informace obsažená v pravděpodobnostní závislosti znaku na znaku předchozím.

Na hodnotě H (X/Y) se podílí informace, pocházející z jiného zdroje informace, než přijímaná zpráva. Je to informace lokální, získaná statistickou analýzou příslušného přirozeného jazyka, stanovující pravděpodobnost výskytu znaku, když už se objevil znak předchozí. Hodnota H (X/Y) představuje informaci, která je apriori už známa odjinud, tak neurčitost, která byla zprávou příjemci odstraněna, je rovna množství informace

I = K * I(X;Y),

které přichází kanálem ODESÍLATEL – PŘÍJEMCE. Celkové množství informace, které má příjemce k dispozici z obou zdrojů je

I = K * = K * H(X).

Princip sdělování, kdy kanálem prochází minimum informace a větší kvantum informace má příjemce k dispozici lokálně (u sebe), lze realizovat tak, že kanálem procházejí pouze pointery (ukazatelé) do báze znalostí příjemce, kde se aktivuje (vybere) odpovídající informace. Tohoto principu použila příroda v lidské komunikaci (viz Konotace / komunikace), kde konstrukty sdělovacího jazyka (slova, věty) slouží jako pointery do lidské psýchy, disponující znalostmi (vnitro psychický kognitivní model) odpovídajícími přijímaným jazykovým konstruktům.

Vzájemná informace

Vzájemná informace má v teorii informace řadu aplikací, např. v informačním kanálu (Shannonově schématu) se požaduje maximální možná vzájemná informace mezi výstupem a vstupem kanálu s ohledem na přítomnost šumu a s ohledem na šíři pásma kanálu.

Vzájemná informace (někdy též transinformace) I(X;Y) je množství informace, které je společné náhodným proměnným X a Y. Je měřítkem vzájemné statistické závislosti mezi dvěma náhodnými proměnnými X a Y. Obvykle se udává v bitech. Tuto veličinu definoval a analyzoval Claude Shannon ve své klíčové práci Matematická teorie komunikace^[15], avšak nenazval ji „vzájemnou informací“. Tento termín později vytvořil Robert Fano ^[16]

Vzájemná (průměrná) informace I(X; Y) vypovídá o tom, kolik informace o X lze získat při znalosti Y, to znamená, jakou měrou znalost jedné z těchto proměnných snižuje nejistotu znalosti o té druhé. Vzájemná informace měří průměrné množství informace poskytnuté výskytem náhodných jevů xi ϵ X při statistické závislosti na pravděpodobnosti výskytu náhodných jevů yj ϵ Y.

Vzájemná informace dvou pravděpodobnostních jevů xi, yj je podle Hartlyho míry informace:

I(x_{i};y_{j})=log({\frac {p(x_{i}|y_{j})}{p(x_{i})}})=log({\frac {p(x_{i},y_{j})}{p(x_{i})p(y_{j})}})

,

kde

p(xi) a p(yj) jsou (marginální) pravděpodobnosti jevů xi a yj.

p(xi | yj) je podmíněná pravděpodobnost jevů xi a yj, tj. pravděpodobnost jevu xi při realizaci (vyskytnutí se) jevu yj, tedy, když už je jev yj znám.

p (xi,yj) je sdružená pravděpodobnost jevů xi a yj, tj. pravděpodobnost současného výskytu jevů xi a yj.

Průměrná vzájemná informace měří váženou průměrnou vzájemnou informaci, která se vyskytuje mezi hodnotami xi, yj dvou náhodných proměnných. Váhou pro společný výskyt jevů xi; yj je pravděpodobnost jejich společného výskytu p (xi,yj). Průměrnou vzájemnou informaci dvou diskrétních náhodných proměnných X a Y lze pak definovat:

I(X;Y)=\sum _{j=1}^{m}p(y_{j})\sum _{i=1}^{n}p(x_{i}|y_{j})log({\frac {p(x_{i}|y_{j})}{p(x_{i})}})=\sum _{i=1}^{n}\sum _{j=1}^{m}p(x_{i},y_{j})log({\frac {p(x_{i},y_{j})}{p(x_{i})p(y_{j})}})

Definice průměrné vzájemné informace v poněkud odlišné interpretaci:

Definice z teorie informace^[17]:

Informaci I(X;Y) ve zprávě Y o zprávě X zdroje $\scriptstyle (X,Y)\sim ({\mathcal {X}}\times {\mathcal {Y}},p(x,y))$ definujeme jako relativní entropii $\scriptstyle D(p(x,y)\|p(x)p(y))$ mezi skutečným rozdělením p(x,y) dvojice zpráv (X,Y) a součinovým rozdělením q(x,y) = p(x)p(y), kterým by se dvojice řídila, kdyby její komponenty X a Y byly vzájemně nezávislé, tj.