Entropie nach Shannon

Gegeben

sind $N$ unterscheidbare Zustände $S=\left\{ w_{1},\ldots,w_{N}\right\}$ mit den Wahrscheinlichkeiten $p_{1},\ldots,p_{N}$

• $0\le p_{i}\le1$
• $\sum_{i=1}^{N}p_{i}=1$

Informationsmangel - Entropie

$H\left(S\right)=-\sum_{i=1}^{N}p_{i}\cdot\log_{2}\left(p_{i}\right)$

Optimale Kodierung

$\frac{H}{\log_{2}D}\le\left\langle l\right\rangle \le\frac{H}{\log_{2}D}+1$

• $\left\langle l\right\rangle$ ist die mittlere Länge der Kodierung der $\left\{ w_{i}\right\}$ Zustände über einem Alphabet mit $D$ Zeichen
• Dies beschreibt ein Intervall in dem die optimale Kodierung liegen muss
• Die Huffmann - Kodierung erfüllt ist eine solche optimale Kodierung

Eigenschaften

der shannonschen Entropie

• $H\left(S\right)=H\left(\left\{ p_{i}\right\} \right)$
• $H\left(\left\{ p_{i}\right\} \right)\rightarrow max$ für $p_{i}=\frac{1}{N}$ mit $H_{max}=\log_{2}\left(N\right)$
• $H\left(\left\{ p_{i}\right\} \right)=0\Leftrightarrow p_{i}=\delta_{i,i_{0}}$
• $H\left(\left\{ p_{i}\right\} \right)$ invariant unter Permutation der $p_{i}$