Evoluční hledání optimální architektury neuronové sítě
| Název práce v češtině: | Evoluční hledání optimální architektury neuronové sítě |
|---|---|
| Název v anglickém jazyce: | Evolutionary search for an optimal neural network architecture |
| Akademický rok vypsání: | 2023/2024 |
| Typ práce: | diplomová práce |
| Jazyk práce: | |
| Ústav: | Katedra teoretické informatiky a matematické logiky (32-KTIML) |
| Vedoucí / školitel: | prof. RNDr. Ing. Martin Holeňa, CSc. |
| Řešitel: |
| Zásady pro vypracování |
| 1. Seznamte se s existujícími metodami hledání architektury neuronové sítě.
2. Seznamte se s dostupnými implementacemi metod prostudovaných v rámci 1. 3. Seznamte se s několika benchmarky vhodnými pro testování metod hledání architektury neuronové sítě. 4. Navrhněte 2-3 modifikace existujících metod založených na evoluční optimalizaci, případně kombinace těchto metod s metodami založenými na jiných paradigmatech. 5. Vámi navržené modifikace a/nebo kombinace metod implementujte s využitím stávajících implementací těchto metod. 6. Implementované modifikace a/nebo kombinace porovnejte s hlavními existujícími metodami s dostupnou implementací na benchmarcích prostudovaných v rámci 3. |
| Seznam odborné literatury |
| • T. Elsken, J. H. Metzen, F. Hutter. Neural architecture search: A survey. Journal of Machine Learning Research, 20(2019) 1–21.
• B. Evans, H. Al-Sahaf, B. Xue, M. Zhang. Evolutionary deep learning: A genetic programming approach to image classification. In IEEE CEC 2018. • Y. Liu, Y. Sun, B. Xue, M. Zhang, G. G. Yen et al. A survey on evolutionary neural architecture search.IEEE Transactions on Neural Networks and Learning Systems, 2021, doi: 10.1109/TNNLS.2021.3100554. • H. Pham, M. Guan, B. Zoph, Q. Le, J. Dean. Efficient neural architecture search via parameters sharing. In ICML 2018, 4095–4104. • E. Real, S. Moore, A. Selle, S. Saxena, Y. L. Suematsu et al. Large-scale evolution of image classifiers. ICML 2017, pages 2902–2911. • P. Vidnerová, Š. Procházka, R. Neruda. Multiobjective evolution for convolutional neural network architecture search. In Artificial Intelligence and Soft Computing 2020,pages 261–270. • B. Zoph, Q.V. Le. Neural architecture search with reinforcement learning. CoRR, abs/1611.01578, 2016. |
| Předběžná náplň práce |
| Automatizovaný návrh architektury neuronové sítě, obecně označovaný jako hledání architektury neuronové sítě (neural architectre search, NAS) je jedním z klíčových problémů oblasti strojového učení označované jako AutoML, tedy automatizované strojové učení. Mezi úspěšné přístupy k řešení tohoto problému patří bayesovská optimalizace a posilované učení s náhodným výběrem v prostoru architektur pomocí rekurentní sítě, které se kombinuje se sdílením parametrů.
V posledních letech jim začíná úspěšně konkurovat přístup založený na evolučních optimalizačních metodách. Z nich zejména na genetickém programování, zaměřujícím se na evoluci stromových struktur, které jsou vhodné k reprezentaci nejen počítačových programů, ale i růstu architektur umělých neuronový sítí. Výzkum však zahrnuje i jiné typy evoluční optimalizace. |