PředmětyPředměty(verze: 945)
Předmět, akademický rok 2023/2024
   Přihlásit přes CAS
Teorie informace - NMMB210
Anglický název: Information theory
Zajišťuje: Katedra algebry (32-KA)
Fakulta: Matematicko-fyzikální fakulta
Platnost: od 2020
Semestr: letní
E-Kredity: 6
Rozsah, examinace: letní s.:3/1, Z+Zk [HT]
Počet míst: neomezen
Minimální obsazenost: neomezen
4EU+: ne
Virtuální mobilita / počet míst pro virtuální mobilitu: ne
Stav předmětu: vyučován
Jazyk výuky: čeština
Způsob výuky: prezenční
Způsob výuky: prezenční
Další informace: https://dl1.cuni.cz/user/index.php?id=11987
Garant: doc. Mgr. Štěpán Holub, Ph.D.
Třída: M Bc. MMIT
M Bc. MMIT > Povinné
Kategorizace předmětu: Informatika > Informatika, Aplikační software, Počítačová grafika a geometrie, Databázové systémy, Didaktika informatiky, Diskrétní matematika, Předměty širšího základu, Předměty obecného základu, Počítačová a formální lingvistika, Optimalizace, Programování, Softwarové inženýrství, Teoretická informatika
Matematika > Algebra
Anotace
Poslední úprava: doc. Mgr. Petr Kaplický, Ph.D. (30.05.2019)
Povinná přednáška pro program MIT. Základy teorie informace.
Podmínky zakončení předmětu
Poslední úprava: doc. Mgr. Štěpán Holub, Ph.D. (18.05.2021)

Zápočet se uděluje za účast na cvičeních a za zápočtovou písemku. Zápočet je předpokladem připuštění ke zkoušce. Předmět je zakončen ústní zkouškou.

Literatura
Poslední úprava: doc. Mgr. Petr Kaplický, Ph.D. (30.05.2019)

Thomas M. Cover, Joy A. Thomas: Elements of Information Theory, Wiley 2006.

Sylabus
Poslední úprava: doc. Mgr. Petr Kaplický, Ph.D. (30.05.2019)

Entropie a její vlastnosti: maximalizace entropie, podmíněná entropie, vzájemná informace, data processing theorem, Fanovo lemma.

Kódování zdroje: Huffmanovo kódování, typické posloupnosti, střední délka zprávy.

Kapacita kanálu a Shannonovy věty: obecný případ, binární symetrický kanál, gaussovský kanál.

Skrytý Markovův model.

Viterbiho a Fanův dekódovací algoritmus.

 
Univerzita Karlova | Informační systém UK