Bilgi teorisi

Bilgi kuramı; bilginin nicelikselleştirilmesi ile ilgili bir uygulamalı matematik ve elektrik mühendisliği dalıdır. Bilgi kuramı; Claude E. Shannon tarafından güvenli şekilde veri sıkıştırma, depolama ve iletme gibi sinyal işleme işlemlerinin kısıtlarını bulmak için geliştirilmiştir.

Bilginin önemli bir ölçütü, genellikle depolama ve iletişim için gerekli olan parçaların ortalama sayısı olan entropidir. Entropi, bir rastgele değişkenin değerini tahmin ederken belirsizliği nicelikselleştirir. Örneğin, bir yazı tura oyunun sonuç için sağladığı bilgi, bir zar atma oyunun sonuç için sağladığı bilgiden daha azdır. Yazı tura oyununda eşit olasılıklı iki sonuç vardır, zar atma oyununda ise eşit olasılıklı altı sonuç. Bu nedenle yazı tura oyunu daha düşük entropiye sahiptir.

Bilgi kuramının temel uygulamalarına örnek olarak kayıpsız veri sıkıştırma (ZIP dosyaları), kayıplı veri sıkıştırma (MP3 dosyaları) veya kanal kodlama (DSL bağlantıları) gösterilebilir. Bilgi kuramının alanı matematik, istatistik, bilgisayar bilimi, fizik, nörobiyoloji ve elektrik mühendisliği ile kesişir. Voyager derin uzay görevleri, kompakt diskin geliştirilmesi, cep telefonlarının yapılabilirliği, internetin geliştirilmesi, dilbilimi araştırmaları gibi pek çok konuda başarının üzerinde büyük etkisi olmuştur. Bilgi kuramının önemli alt dalları; kaynak kodlaması, kanal kodlaması, algoritmik karmaşıklık kuramı, algoritmik bilgi kuramı gibi alanlardır. Ayrıca Makine Öğrenimi alanında sınıflandırma problemlerinde; özellikle de karar ağaçlarının oluşturulmasında bilgi kuramı ve buna bağlı entropi kavramı kullanılmaktadır.