✖Entropie ist ein Maß für die Unsicherheit einer Zufallsvariablen. Konkret misst es die durchschnittliche Informationsmenge, die in jedem möglichen Ergebnis der Zufallsvariablen enthalten ist.ⓘ Entropie [H[S]] | | | +10% -10% |
✖Die maximale Entropie besagt, dass die Wahrscheinlichkeitsverteilung, die den aktuellen Wissensstand über ein System am besten widerspiegelt, diejenige mit der größten Entropie ist.ⓘ Maximale Entropie [H[S]max] | | | +10% -10% |