Poslední úprava: doc. Mgr. Barbora Vidová Hladká, Ph.D. (15.05.2020)
Přednášky pokrývají jak teoretické základy, tak praktické algoritmy strojového učení (SU). Je kladen důraz na
komplexní pochopení procesu SU, který zahrnuje analýzu dat, volbu metody SU, ladění parametrů učení a
statistické vyhodnocení a porovnání výsledných modelů. Cvičení jsou zaměřena na využití standardních knihoven
statistického systému R v úlohách SU. Všechny domácí úkoly jsou praktická cvičení s použitím R, přičemž
poslední úkol je nejrozsáhlejší a zahrnuje komplexní zpracování typického, nepříliš náročného problému a
zpracování zprávy o variantách řešení a jejich vyhodnocení.
Poslední úprava: doc. Mgr. Barbora Vidová Hladká, Ph.D. (15.05.2020)
Lectures cover both theoretical background and practical algorithms of Machine Learning (ML). The emphasis is
placed on comprehensive understanding of the ML process, which includes data analysis, choice of ML algorithm,
learning parameters tuning, statistical evaluation and model assessment. Lab sessions aim at practical
experience with ML tasks using existing R libraries. Homework assignments are practical exercises using R. The
last assignment is the most extensive and includes comprehensive processing of a typical, not very demanding
problem, and writing a report on solution variants and t
Cíl předmětu -
Poslední úprava: doc. Mgr. Barbora Vidová Hladká, Ph.D. (15.05.2020)
Cílem kurzu je představit proces strojového učení z teoretického i praktického hlediska. Student se seznámí s teoretickými základy vybraných algoritmů a naučí se prakticky řešit úlohy strojového učení pomocí knihoven statistického systému R. Student musí zvládnout komplexní zpracování ukázkového problému strojového učení a dokumentaci o variantách řešení a jejich vyhodnocení.
Poslední úprava: doc. Mgr. Barbora Vidová Hladká, Ph.D. (15.05.2020)
The aim of the course is to present the Machine Learning process from both theoretical and practical point of view. Students get familiar with the theoretical foundations of selected algorithms and learn to practically solve Machine Learning problems using libraries of the statistical system R. Students must be able to comprehensively solve an example machine learning problem and analyze and describe solution variants and their evaluation.
Podmínky zakončení předmětu -
Poslední úprava: doc. Mgr. Barbora Vidová Hladká, Ph.D. (29.04.2021)
Studenti musí během semestru 1) prezentovat nebodovaný domácí úkol, 2) odevzdat dva bodované domácí úkoly tak, aby celkový počet bodů překročil stanovený bodový limit, a 3) napsat dva bodované testy tak, aby celkový počet bodů překročil stanovený bodový limit.
Získání zápočtu je podmínkou pro konání zkoušky.
Podrobnosti k domácím úkolům a testům jsou uvedeny na webové stránce předmětu.
Poslední úprava: doc. Mgr. Barbora Vidová Hladká, Ph.D. (29.04.2021)
During the term students have to 1) present easy homework, 2) submit two homework assignments so that the total score exceeds the required score limit, and 3) pass two written tests so that the total score exceeds the required score limit.
Obtaining the course credit is a prerequisite for taking the exam.
More details about homework assignments and tests are available on the course web site.
Literatura -
Poslední úprava: doc. Mgr. Barbora Vidová Hladká, Ph.D. (12.05.2020)
James, Gareth, Daniela Witten, Trevor Hastie, and Robert Tibshirani: An Introduction to Statistical Learning. Springer, 2013.
Lantz, Brett: Machine Learning with R. Packt Publishing, 2013.
Poslední úprava: doc. Mgr. Barbora Vidová Hladká, Ph.D. (15.05.2020)
James, Gareth, Daniela Witten, Trevor Hastie, and Robert Tibshirani: An Introduction to Statistical Learning. Springer, 2013.
Lantz, Brett: Machine Learning with R. Packt Publishing, 2013.
Požadavky ke zkoušce -
Poslední úprava: doc. Mgr. Barbora Vidová Hladká, Ph.D. (29.04.2021)
Zkouška se koná ústně, při hodnocení studenta se však berou do úvahy také výsledky písemných testů a domácích úkolů. Získání zápočtu je podmínkou pro konání zkoušky.
Požadavky ke zkoušce odpovídají sylabu předmětu. Podrobnosti jsou uvedené na webové stránce předmětu.
Poslední úprava: doc. Mgr. Barbora Vidová Hladká, Ph.D. (15.05.2020)
The exam is oral. However, the results of written tests and homework assignments are taken into account. Obtaining the course credit is a prerequisite for taking the exam.
The examination requirements correspond to the course syllabus. More details are available on the course web site.
Sylabus -
Poslední úprava: doc. Mgr. Barbora Vidová Hladká, Ph.D. (15.05.2020)
Strojové učení - základní koncepty, ukázky praktických aplikací, teoretické základy. Učení s učitelem, učení bez učitele. Klasifikační a regresní úlohy. Klasifikace do dvou nebo více tříd. Trénovací a testovací příklady. Vektory příznaků. Cílový atribut a predikční funkce. Vývojový cyklus strojového učení. Prokletí dimenzionality. Metody shlukování.
Rozhodovací stromy. Algoritmus učení, kritéria větvení a prořezávání. Náhodné lesy.
Lineární a logistická regrese. Metoda nejmenších čtverců. Diskriminativní klasifikátor.
Učení založené na příkladech. Algoritmus k-NN.
Naivní Bayesův klasifikátor. Bayesovské sítě.
Metoda podpůrných vektorů. Klasifikátor pro lineárně separabilní a neseparabilní třídy. Kernelové funkce.
Metody pro kombinaci prediktorů. Nestabilní algoritmy učení. Bagging a boosting. Algoritmus AdaBoost.
Parametry ve strojového učení, ladění hyperparametrů. Prohledávání prostoru parametrů. Metoda největšího spádu. Metoda maximální věrohodnosti.
Vyhodnocování experimentů. Práce s testovacími daty. Výběrová chyba, generalizační chyba. Křížová validace, metoda leave-one-out. Metoda bootstrap. Míry úspěšnosti. Vyhodnocování binárních klasifikátorů. Křivka ROC.
Statistické testy. Statistické hypotézy, jednovýběrový a dvouvýběrový t-test, chí-kvadrát testy. Hladina významnosti, p-hodnota. Použití statistických testů pro vyhodnocování klasifikátorů. Intervaly spolehlivosti.
Přetrénování. Jak odhalit a zabránit. Regularizace. Dekompozice chyby modelu na vychýlení a rozptyl.
Obecné principy selekce příznaků. Výběr příznaků pomocí informačního zisku, hladové algoritmy. Redukce dimenze, analýza hlavních komponent.
Základy neuronových sítí. Jednoduchý perceptron. Neuronové sítě s jednou skrytou vrstvou. Vícevrstvé dopředné modely, algoritmus zpětné propagace. Poznámky k hlubokému učení.
Poslední úprava: doc. Mgr. Barbora Vidová Hladká, Ph.D. (15.05.2020)
Machine learning - basic concepts, examples of practical applications, theoretical foundations. Supervised and unsupervised learning. Classification and regression tasks. Classification into two, or more classes. Training and test examples. Feature vectors. Target variable and prediction function. Machine learning development process. Curse of dimensionality. Clustering.
Decision tree learning. Learning algorithm, splitting criteria and pruning. Random forests.
Linear and logistic regression. Least squares methods. Discriminative classifiers.
Instance-based learning. k-NN algoritmus.
Naive Bayes classifier. Bayesian belief networks.
Support Vector Machines. Large and soft margin classifier. Kernel functions.
Ensemble methods. Unstable learning algorithms. Bagging and boosting. AdaBoost algorithm.
Parameters in machine learning. Hyperparameters tuning. Searching parameter space. Gradient descent algorithm. Maximum likelihood estimation.
Experiment evaluation. Working with development and test data. Sample error, generalization error. Cross-validation, leave-one-out method. Bootstrap method. Performance measures. Evaluation of binary classifiers. ROC curve.
Statistical tests. Statistical hypotheses, one-sample and two-sample t-tests, chi-square tests. Significance level, p-value. Using statistical tests for classifier evaluation. Confidence intervals.
Overfitting. How to recognize and avoid. Regularization. Bias-variance decomposition.
General principles of feature selection. Feature selection using information gain, greedy algorithms.
Dimensionality reduction, Principal Component Analysis.
Foundations of Neural Networks. Single Perceptron, Single Layer Perceptron. The architecture of multi-layer feed-forward models and the idea of back-propagation training. Remarks on deep learning.