Spazio di Hamming

==Rate di un codice==
{{InizioDefinizione|title=409 Rate}}
Il ''rate'' di un codice <math>C</math> è <math>\frac{\log_q |C|}{n}</math>.
{{FineDefinizione}}



{{InizioEsempio|title=410}}
Supponiamo che <math>|C| = |Q|^k</math>, allora il rate è dato da <math>\frac{\log_{|Q|} (|Q|^k)}{n} = k/n</math>. Se <math>k/n \to 1</math>, 
allora il numero di parole che posso spedire è vicino al numero massimo di n-uple a disposizione, invece se <math>k/n \to 0</math>, 
il codice è rarefatto all'interno delle possibili n-uple.
{{FineEsempio}}



{{InizioTeorema|title=411 teorema di Shannon}}
Dato un canale con le tre proprietà di prima, e tale che la probabilità che "0 trasmesso e 1 ricevuto" sia <math>p</math>, allora

;a):sia <math>r</math> tale che <math>r<1+p*\log_2 p+(1-p)*\log_2 (1-p)</math> e <math>\varepsilon >0</math>, allora esiste un codice <math>C</math> con rate <math>r</math> e per cui la probabilità 
che venga commesso un errore usando il metodo di decodifica è minore di <math>\varepsilon</math>.

;b):se <math>r>1+p \log_2 p+(1-p) \log_2 (1-p)</math> allora la probabilità di errore di una parola generica in
codice con rate <math>r</math> è limitata inferiormente da una costante maggiore di 0.
{{FineTeorema}}



{{InizioDefinizione|title=412 Capacità del canale}}
La quantità <math>1+p*\log_2 p+(1-p)*\log_2 (1-p)</math> è detta ''capacità del canale''.
{{FineDefinizione}}




Intuitivamente, se <math>r</math> è minore della capacità del canale, si può sempre trovare un codice che  minimizza l'errore di trasmissione, 
altrimenti questo non è possibile.


La dimostrazione è di esistenza ma non costruttiva: non si ha idea di come realizzare il codice.