Teorie informace - NMMB210

• Anglický název: Information theory
• Zajišťuje: Katedra algebry (32-KA)
• Fakulta: Matematicko-fyzikální fakulta
• Platnost: od 2020
• Semestr: letní
• E-Kredity: 6
• Rozsah, examinace: letní s.:3/1, Z+Zk [HT]
• Počet míst: neomezen
• Minimální obsazenost: neomezen
• 4EU+: ne
• Virtuální mobilita / počet míst pro virtuální mobilitu: ne
• Stav předmětu: vyučován
• Jazyk výuky: čeština
• Způsob výuky: prezenční
• Další informace: https://dl1.cuni.cz/user/index.php?id=11987
• Garant: doc. Mgr. Štěpán Holub, Ph.D.
• Vyučující: doc. Mgr. Štěpán Holub, Ph.D.; Mgr. Michal Kupsa
• Třída: M Bc. MMIT; M Bc. MMIT > Povinné
• Kategorizace předmětu: Informatika > Informatika, Aplikační software, Počítačová grafika a geometrie, Databázové systémy, Didaktika informatiky, Diskrétní matematika, Předměty širšího základu, Předměty obecného základu, Počítačová a formální lingvistika, Optimalizace, Programování, Softwarové inženýrství, Teoretická informatika; Matematika > Algebra

Anotace

Povinná přednáška pro program MIT. Základy teorie informace.

Poslední úprava: Kaplický Petr, doc. Mgr., Ph.D. (30.05.2019)

Podmínky zakončení předmětu

Zápočet se uděluje za účast na cvičeních a za zápočtovou písemku. Zápočet je předpokladem připuštění ke zkoušce. Předmět je zakončen ústní zkouškou.

Poslední úprava: Holub Štěpán, doc. Mgr., Ph.D. (18.05.2021)

Literatura

Thomas M. Cover, Joy A. Thomas: Elements of Information Theory, Wiley 2006.

Poslední úprava: Kaplický Petr, doc. Mgr., Ph.D. (30.05.2019)

Sylabus

Entropie a její vlastnosti: maximalizace entropie, podmíněná entropie, vzájemná informace, data processing theorem, Fanovo lemma.

Kódování zdroje: Huffmanovo kódování, typické posloupnosti, střední délka zprávy.

Kapacita kanálu a Shannonovy věty: obecný případ, binární symetrický kanál, gaussovský kanál.

Skrytý Markovův model.

Viterbiho a Fanův dekódovací algoritmus.

Poslední úprava: Kaplický Petr, doc. Mgr., Ph.D. (30.05.2019)