The course covers the fundamental concepts of information theory, error-correcting codes and communication complexity.
Last update: IUUK (27.01.2015)
Přednáška pokrývá základy teorie informace, samoopravných kódů a komunikační složitosti.
Předpokládají se znalosti na úrovni předmětu Pravděpodobnostní techniky.
Course completion requirements -
Last update: prof. Mgr. Michal Koucký, Ph.D. (10.06.2019)
The credit from tutorials is given based on the number of points obtained from the homework assignments. To get the credit one has to get at least 70% of the total number of points
from the assignments.
There are no make-up homeworks.
The exam is oral.
Last update: prof. Mgr. Michal Koucký, Ph.D. (10.06.2019)
Zápočet se uděluje po získání dostatečného počtu bodů z domácích úkolů. Je nutné získat alespoň 70% všech možných bodů za příklady z domácích úkolů.
Zápočet nelze opakovat.
Zkouška je ústní.
Literature -
Last update: IUUK (27.01.2015)
· T.M. Cover, J.A. Thomas, Elements of Information Theory. John Wiley & Sons, 2nd edition, 2006.
· F.J. MacWilliams, N.J.A. Sloane, The theory of error correcting codes. North-Holland, Amsterdam, 1981.
· E. Kushilevitz, N. Nisan, Communication Complexity. Cambridge University Press, 1997.
· J.H. van Lint, Introduction to coding theory. Springer, 3rd edition, 1998.
Last update: IUUK (27.01.2015)
· T.M. Cover, J.A. Thomas, Elements of Information Theory. John Wiley & Sons, 2nd edition, 2006.
· F.J. MacWilliams, N.J.A. Sloane, The theory of error correcting codes. North-Holland, Amsterdam, 1981.
· E. Kushilevitz, N. Nisan, Communication Complexity. Cambridge University Press, 1997.
· J.H. van Lint, Introduction to coding theory. Springer, 3rd edition, 1998.
Requirements to the exam -
Last update: prof. Mgr. Michal Koucký, Ph.D. (10.06.2019)
The exam is oral from the material covered by the lectures. Each student gets reasonable time (at most three hours) for preparation upon receiving the questions.
Study materials (lecture notes, text books, etc.), computers and other electronic devices are not allowed during the exam.
Last update: prof. Mgr. Michal Koucký, Ph.D. (10.06.2019)
Zkouška je ústní. Zkouší se z probrané látky. Po zadání otázek dostane student čas na přípravu.
Studijní materiály (skripta, učebnice a zápisky z přednášek) ani notebooky, kalkulačky, PDA, atd., nejsou u zkoušky dovoleny.
Syllabus -
Last update: IUUK (27.04.2015)
Information Theory
· Information, entropy, mutual information
· Relative information and its properties
· Data compression - Shannon-Fano code, Huffman code
· Kolmogorov complexity, Kolmogorov information, symmetry of Kolmogorov information
Error-Correcting Codes
· Data transmission over a noisy channel, channel capacity, Shannon's theorems