SubjectsSubjects(version: 945)
Course, academic year 2023/2024
   Login via CAS
Information theory - NMMB210
Title: Teorie informace
Guaranteed by: Department of Algebra (32-KA)
Faculty: Faculty of Mathematics and Physics
Actual: from 2020
Semester: summer
E-Credits: 6
Hours per week, examination: summer s.:3/1, C+Ex [HT]
Capacity: unlimited
Min. number of students: unlimited
4EU+: no
Virtual mobility / capacity: no
State of the course: taught
Language: Czech
Teaching methods: full-time
Teaching methods: full-time
Additional information: https://dl1.cuni.cz/user/index.php?id=11987
Guarantor: doc. Mgr. Štěpán Holub, Ph.D.
Class: M Bc. MMIT
M Bc. MMIT > Povinné
Classification: Informatics > Informatics, Software Applications, Computer Graphics and Geometry, Database Systems, Didactics of Informatics, Discrete Mathematics, External Subjects, General Subjects, Computer and Formal Linguistics, Optimalization, Programming, Software Engineering, Theoretical Computer Science
Mathematics > Algebra
Annotation - Czech
Last update: doc. Mgr. Petr Kaplický, Ph.D. (30.05.2019)
Povinná přednáška pro program MIT. Základy teorie informace.
Course completion requirements - Czech
Last update: doc. Mgr. Štěpán Holub, Ph.D. (18.05.2021)

Zápočet se uděluje za účast na cvičeních a za zápočtovou písemku. Zápočet je předpokladem připuštění ke zkoušce. Předmět je zakončen ústní zkouškou.

Literature - Czech
Last update: doc. Mgr. Petr Kaplický, Ph.D. (30.05.2019)

Thomas M. Cover, Joy A. Thomas: Elements of Information Theory, Wiley 2006.

Syllabus - Czech
Last update: doc. Mgr. Petr Kaplický, Ph.D. (30.05.2019)

Entropie a její vlastnosti: maximalizace entropie, podmíněná entropie, vzájemná informace, data processing theorem, Fanovo lemma.

Kódování zdroje: Huffmanovo kódování, typické posloupnosti, střední délka zprávy.

Kapacita kanálu a Shannonovy věty: obecný případ, binární symetrický kanál, gaussovský kanál.

Skrytý Markovův model.

Viterbiho a Fanův dekódovací algoritmus.

 
Charles University | Information system of Charles University | http://www.cuni.cz/UKEN-329.html