DOMANDA Libro teoria dell informazione

[olegfresi]

Potreste consigliarmi un libro sulla teoria dell'informazione, più completo possibile.

 

[JohnnyBlaze]

Avevo un esame universitario che si chiamava teoria dell informazione, se intendiamo la stessa cosa il professore aveva consigliato questo libro
--- i due messaggi sono stati uniti ---
In più sempre se intendiamo la stessa cosa queste sono delle note scritte dal prof in versione un po più riassunta

 

[olegfresi]

Grazie

 

[Utente 16812]

Grazie

Ho già avuto modo, in ripetute occasioni, di definire la misura dell'informazione … un messaggio è composto da un certo numero di cifre binarie (i bit) che possono assumere due soli valori (1 e 0) :sisi:
Ora, ricevere un determinato valore di un bit (1 o 0) significa rimuovere l'incertezza che si aveva prima di riceverlo (in quanto il suo valore non era conosciuto) :asd:
Essendo i due valori equiprobabili (hanno la stessa probabilità di essere emessi e ricevuti), la probabilità è pari al 50% (cioè 0.5) :sisi:
Dunque avremo che la probabilità di una cifra binaria equiprobabile è P=1/2 :sisi:
In generale la probabilità di una cifra che può assumere n valori diversi equiprobabili è P=1/n :sisi:
La quantità di informazione di una cifra binaria equiprobabile è pari a 1 bit: Q=1 bit ;)
La quantità d'informazione legata ad un certo elemento di probabilità P è: Q=log2 (1/P) (logaritmo in base 2 di 1/P) :sisi:
La quantità d'informazione di una cifra che assume n valori diversi equiprobabili è Q=log2 (1/P)=log2 (n) :sisi:
Per quanto riguarda un messaggio composto, ad esempio, da 8 bit (m=8), le combinazioni possibili sono 256 (2^8=256), a ciascuna delle quali possiamo associare un carattere (ad es. un codice ASCII) :sisi:
Ebbene, la probabilità di un carattere equiprobabile composto da 8 bit è P=1/(2^8)=1/256=3.9*10^(-3) :sisi:
La quantità d'informazione di un messaggio equiprobabile (composto da 8 bit) è Q=log2 (2^8)=8 bit ;)
Sul concetto di entropia di un'informazione non mi soffermerò, per ora :D
A presto ;)

P.S. Leggi i miei articoli sulle Telecomunicazioni qui:
https://forum.tomshw.it/threads/sistemi-di-telecomunicazioni.514646/post-4842615 :)