Wederzijdse informatie

Vereiste informatie

Om wederzijdse informatie te berekenen is de waarschijnlijkheid (kans) nodig van alle mogelijke gebeurtenissen, en de kans dat ze tegelijkertijd plaatsvinden. Om bijvoorbeeld de wederzijdse informatie tussen maand en temperatuur te meten, zouden we moeten weten hoeveel dagen in het jaar 10 graden Celsius zijn, hoeveel dagen van het jaar maart zijn en tenslotte hoeveel dagen in maart 10 graden Celsius zijn.

Formule

De formule vereist het optellen van vele termen of getallen. Elke mogelijke uitkomst heeft zijn eigen term. Uit de bovenstaande berekening van de wederzijdse informatie tussen maand en temperatuur gebruiken we de volgende variabelen:

• p(x,y) = kans dat het x graden Celsius is in maand y
• t(x) = kans dat het x graden Celsius is (op een willekeurige dag van het jaar)
• m(y) = kans dat het maand y is

Dit betekent dat m(3) gelijk is aan de kans dat een willekeurig gekozen dag in maart valt. Dit is 31/365, ofwel ongeveer 0,085, aangezien 31 van de 365 dagen in het jaar in maart vallen.

Een termijn zou als volgt zijn:

p ( x , y ) log ( p ( x , y ) t ( x ) m ( y ) ) {\an5}p(x,y)log {frac {p(x,y)}{t(x)m(y)}},\left({frac {p(x,y)}{t(x)m(y)}}. }

In deze formule betekent "log" logaritme.

Alle mogelijke termen bij elkaar opgeteld geeft de waarde voor wederzijdse informatie.

Mogelijke waarden

Hoe groter de wederzijdse informatie, hoe meer je te weten komt over een willekeurige waarde (bv. maand) wanneer je een andere waarde (bv. temperatuur) te horen krijgt.

• Als de wederzijdse informatie nul is, kun je niets bepalen over de ene waarde als je een andere waarde krijgt.
• Als je bijvoorbeeld weet of je de vorige keer kop of munt hebt gegooid, zegt dat niets over wat er de volgende keer zal gebeuren.

• Als de wederzijdse informatie klein is, kan er nog steeds geen wederzijdse informatie zijn. Soms lijken willekeurige gebeurtenissen op korte termijn een patroon te vertonen, maar over het geheel genomen is er geen wederzijdse informatie.

• Als de wederzijdse informatie groot is, is er waarschijnlijk een verband tussen de twee dingen die worden bekeken.
• Aangezien temperatuur en maand verbonden zijn, zou hun wederzijdse informatie veel groter zijn dan nul.
• Het is niet gemakkelijk om te weten of de wederzijdse informatie significant of groot is.

• Als wederzijdse informatie één is, dan zal kennis van de ene waarde u precies de andere vertellen.
• Als bijvoorbeeld in een klaslokaal een willekeurig bureau wordt gekozen, kan een leraar precies weten welke leerling daar komt te zitten. Als we weten welk bureau is gekozen, weten we precies welke leerling daar zit.

Belangrijke feiten

De wederzijdse informatie verandert niet afhankelijk van welke van de twee willekeurige waarden wordt onthuld. Dit betekent dat we evenveel weten over de temperatuur als we de maand te weten komen als we de temperatuur te weten komen.

Wederzijdse informatie is moeilijk te vergelijken. Als wij de wederzijdse informatie berekenen voor het weer en een andere waarde voor een kaartspel, kunnen de twee waarden niet gemakkelijk worden vergeleken.

• Informatie theorie