✖Entropia jest miarą niepewności zmiennej losowej. W szczególności mierzy średnią ilość informacji zawartych w każdym możliwym wyniku zmiennej losowej.ⓘ Entropia [H[S]] | | | +10% -10% |
✖Maksymalna entropia jest zdefiniowana jako stwierdzenie, że rozkład prawdopodobieństwa, który najlepiej reprezentuje aktualny stan wiedzy o systemie, to ten o największej entropii.ⓘ Maksymalna entropia [H[S]max] | | | +10% -10% |