Entropi (bilgi kuramı)

Bilgi kuramı'nda entropi bir iletinin içerdiği bilgi miktarıdır.

Tanım

Ayrık bir rassal değişken X'in entropisi

$\Eta(X) := -\sum_{x}\Pr[X=x]\lg \Pr[X=x]$

olarak tanımlanır.

Burada bir x için Pr[X=x]=0 ise,

$\Pr[X=x]\lg \Pr[X=x] = 0$

varsayılır. Bu varsayım

$\lim_{p\to 0^+} p\lg p = 0$

limiti ile tutarlıdır.