The goal of the lecture is to introduce the main nature-inspired algorithms (evolutionary algorithm, neural
networks, …) and how they can be applied to solve problems in optimization and machine learning. In the
seminar, some of the algorithms will be implemented and used to solve simple problems in the areas mentioned
above.
Last update: RNDr. Jan Hric (27.04.2018)
V předmětu se studenti seznámí se základními algoritmy inspirovanými přírodou (evoluční algoritmy, neuronové
sítě, …) a jejich aplikacemi pro řešení problémů optimalizace a strojového učení. V rámci cvičení budou některé z
přednesených algoritmů implementovány a využity pro řešení jednoduchých problémů v daných oblastech.
Aim of the course -
Last update: RNDr. Jan Hric (27.04.2018)
Introduce the basics of nature-inspired algorithms used in machine learning and optimization (evolutionary algorithms, neural networks, etc.).
Last update: RNDr. Jan Hric (27.04.2018)
Poskytnout úvod k základním přírodou inspirovaným algoritmům používaným ve strojovém učení a optimalizaci (evoluční algoritmy, neuronové sítě, apod.).
Course completion requirements -
Last update: RNDr. Jan Hric (27.04.2018)
In order to pass the course, the student must obtain the credit for the seminar and pass an exam. The credit is given for solving assignments from the seminar. The nature of study verification excludes the possibility of its repetition.
Last update: RNDr. Jan Hric (27.04.2018)
Podmínkou pro zakončení předmětu je získání zápočtu a složení zkoušky. Zápočet je udělen za vypracování úkolů na cvičení. Povaha kontroly získání zápočtu vylučuje možnost jejího opakování.
Literature -
Last update: RNDr. Jan Hric (27.04.2018)
1. Olarius S., Zomaya A. Y., Handbook of Bioinspired Algorithms and Applications, Chapman & Hall/CRC, 2005. ISBN: 978-1-584-88475-0
2. de Castro, L. N., Fundamentals of Natural Computing: Basic Concepts, Algorithms, and Applications, CRC Press, 2006. ISBN: 978-1-584-88643-3
3. Eiben, A.E and Smith, J.E.: Introduction to Evolutionary Computing, (2nd ed), Springer-Verlag, 2015. ISBN: 978-3-662-44874-8
4. Poli R., Langdon W. B., McPhee, N. F., A Field Guide to Genetic Programming. Lulu.com, 2008 ISBN: 978-1-409-20073-4
5. Bengio Y., Goodfellow I. J., Courville A., Deep Learning. MIT Press, 2016. ISBN: 978-0-262-03561-3
Last update: RNDr. Jan Hric (27.04.2018)
1. Olarius S., Zomaya A. Y., Handbook of Bioinspired Algorithms and Applications, Chapman & Hall/CRC, 2005. ISBN: 978-1-584-88475-0
2. de Castro, L. N., Fundamentals of Natural Computing: Basic Concepts, Algorithms, and Applications, CRC Press, 2006. ISBN: 978-1-584-88643-3
3. Eiben, A.E and Smith, J.E.: Introduction to Evolutionary Computing, (2nd ed), Springer-Verlag, 2015. ISBN: 978-3-662-44874-8
4. Poli R., Langdon W. B., McPhee, N. F., A Field Guide to Genetic Programming. Lulu.com, 2008 ISBN: 978-1-409-20073-4
5. Bengio Y., Goodfellow I. J., Courville A., Deep Learning. MIT Press, 2016. ISBN: 978-0-262-03561-3
Requirements to the exam -
Last update: RNDr. Jan Hric (27.04.2018)
The exam is oral with time for written preparation. The requirements correspond to the syllabus in the extent presented during the lectures. A part of the exam may be the design of an algorithm for a given problem.
Last update: RNDr. Jan Hric (27.04.2018)
Zkouška je ústní s časem na písemnou přípravu. Požadavky odpovídají sylabu předmětu v rozsahu, který byl přednesen na přednášce. Součástí zkoušky může být i návrh algoritmu aplikovaného na konkrétní problém.
Syllabus -
Last update: RNDr. Jan Hric (27.04.2018)
Biological inspiration in the design of algorithms and models
a. evolutionary models
b. neural models
Evolutionary algorithms
a. Simple genetic algorithm
b. Representation, genetic operators, fitness, selection
c. Evolutionary algorithms for continuous optimization
d. Neuro-evolution, algorithm NEAT
e. Genetic programming
Swarm algorithms
a. Ant Colony Optimization
b. Particle Swarm Optimization
Neural networks
a. Perceptron, multi-layered perceptron, back-propagation as a learning algorithm
b. Convolutional networks
c. RBF networks a Kohonen’s maps
Other nature inspired algorithms
a. Artificial Immune Systems
b. Cellular Automata
c. Artificial Life
Applications in optimization and machine learning
a. Continuous and combinatorial optimization
b. Multi-objective optimization
c. Supervised and unsupervised learning, reinforcement learning
Last update: RNDr. Jan Hric (27.04.2018)
Biologické inspirace v návrhu algoritmů a modelů
a. evoluční modely
b. neuronové modely
Evoluční algoritmy
a. jednoduchý genetický algoritmus
b. reprezentace jedince, genetické operátory, fitness a selekce
c. evoluční algoritmy pro spojitou optimalizaci
d. evoluce neuronových sítí, algoritmus NEAT
e. genetické programování
Rojové algoritmy
a. Ant Colony Optimization
b. Particle Swarm Optimization
Neuronové sítě
a. Perceptron, vícevrstvý perceptron, back-propagation jako metoda učení
b. Konvoluční sítě
c. RBF sítě a Kohonenovy mapy
Další přírodou inspirované algoritmy
a. Artificial Immune Systems
b. celulární automaty
c. Artificial Life
Aplikace v optimalizaci a strojovém učení
a. spojitá a kombinatorická optimalizace
b. vícekriteriální optimalizace
c. učení s učitelem a bez učitele, reinforcement learning