Autoinformazione

Da Wikipedia, l'enciclopedia libera.

L'autoinformazione di un evento è la quantità d'incertezza associata all'evento, ovverosia l'informazione che si ottiene affermando che tale evento si è realizzato, e rimuovendo quindi l'incertezza associata. Tale concetto viene introdotto nell'ambito della Teoria dell'informazione, ponendosene, come si può intuire, alle basi.

L'ambiguità esistente tra incertezza ed informazione non deve stupire. Esse si presentano infatti come due facce della stessa medaglia: senza incertezza non c'è informazione, e quanto più incertezza c'è nel segnale aleatorio, tanto più informativo è rivelare qual è la determinazione del segnale. Fatte queste premesse, sarà più facile capire lo stretto legame tra il concetto di autoinformazione e quello di probabilità.

[modifica] Assiomi

Cerchiamo di pervenire alla definizione assiomatica di autoinformazione di un evento partendo da considerazioni di carattere intuitivo. Consideriamo la seguente frase:

A: "Il 21 giugno a Palermo ci sarà bel tempo"

Questa frase intuitivamente non ci porta molta informazione. Consideriamo invece la frase:

B: "Il 21 giugno a Palermo nevicherà"

Questa affermazione appare molto più informativa della precedente. Il motivo è che la probabilità dell'evento A è molto maggiore di quella dell'evento B. Da queste considerazioni nascono i seguenti assiomi:

I - L'autoinformazione dell'evento certo è nulla

II - L'autoinformazione di un evento è tanto maggiore quanto minore è la sua probabilità

Notiamo che da questi due assiomi segue che l'informazione di un evento non può mai essere negativa.

Consideriamo ora la seguente coppia di frasi:

C: "Il 17 novembre a Londra pioverà"

D: "Il 17 novembre il signor J. Smith di Londra prenderà l'ombrello uscendo di casa"

Appare evidente che le due frasi portano un contributo d'informazione abbastanza simile, ma la coppia di frasi C-D apporta un contributo d'informazione inferiore alla somma delle informazioni ricavabili dalle due frasi prese singolarmente, perché i dati forniti parzialmente si sovrappongono: in altre parole, i due eventi non sono statisticamente indipendenti.

Se invece consideriamo la coppia:

A: "Il 21 giugno a Palermo ci sarà bel tempo"

C: "Il 17 novembre a Londra pioverà"

Possiamo intuitivamente dire che l'informazione della coppia di frasi A-C è pari alla somma dell'informazione che potremmo ricavare considerando le due frasi separatamente, proprio perché i due eventi sono indipendenti. Da queste considerazioni nasce il terzo assioma dell'autoinformazione:

III - l'autoinformazione di una coppia di eventi indipendenti è pari alla somma delle autoinformazioni dei singoli eventi.

[modifica] Definizione

Si definisce allora autoinformazione di un evento A che abbia probabilità $p A$ di accadere, la quantità:

$I\ :\ A \rightarrow \log \frac{1}{p_A}$

Si può facilmente dimostrare che tale definizione soddisfa tutti gli assiomi considerati. Il logaritmo è normalmente in base 2. In tal caso, l'autoinformazione è misurata in bit. A volte si usa il logaritmo naturale, ed in tal caso l'unità di misura si chiama nat. È facile ricavare la relazione tra l'entropia in bit e quella in nat: per passare dalla prima alla seconda quantità, basta moltiplicare per $ln2$