Reducing Number of Parameters in Convolutional Neural Networks
| Název práce v češtině: | Redukce počtu parametrů v konvolučních neuronových sítích |
|---|---|
| Název v anglickém jazyce: | Reducing Number of Parameters in Convolutional Neural Networks |
| Klíčová slova: | redukce parametrů|konvoluční neuronové sítě|zpětnovazební učení|hledání architektury sítě|prořezávání |
| Klíčová slova anglicky: | parameter reduction|convolutional neural networks|reinforcement learning|neural architecture search|pruning |
| Akademický rok vypsání: | 2019/2020 |
| Typ práce: | diplomová práce |
| Jazyk práce: | angličtina |
| Ústav: | Katedra teoretické informatiky a matematické logiky (32-KTIML) |
| Vedoucí / školitel: | Mgr. Martin Pilát, Ph.D. |
| Řešitel: | skrytý - zadáno a potvrzeno stud. odd. |
| Datum přihlášení: | 04.09.2020 |
| Datum zadání: | 09.09.2020 |
| Datum potvrzení stud. oddělením: | 23.09.2020 |
| Datum a čas obhajoby: | 22.06.2021 09:00 |
| Datum odevzdání elektronické podoby: | 21.05.2021 |
| Datum odevzdání tištěné podoby: | 21.05.2021 |
| Datum proběhlé obhajoby: | 22.06.2021 |
| Oponenti: | Mgr. Roman Neruda, CSc. |
| Zásady pro vypracování |
| V posledních letech dosáhly konvoluční neuronové sítě velmi dobrých výsledků v úloze klasifikace obrázků. Většina takových sítí je ale relativně velkých a mají mnoho parametrů, což vede k tomu, že jejich trénování i vyhodnocení trvá dlouhou dobu. Cílem práce je na základě existujících architektur nalézt menší, které by byly schopny dosáhnout podobných výsledků.
Student nastuduje dostupnou literaturu týkající se (hlubokého) strojového učení a typů konvolučních sítí, které se používají při klasifikaci obrázků. Na základě zjištěných informací navrhne nové metody, jak existující sítě zmenšit, ale zachovat podobné výsledky. Navržené sítě a algoritmy budou porovnány s existujícími přístupy z literatury. |
| Seznam odborné literatury |
| [1] Han, Song, Jeff Pool, John Tran, and William Dally. "Learning both weights and connections for efficient neural network." In Advances in Neural Information Processing Systems (NIPS 2-15), pp. 1135-1143. 2015.
[2] Li, Hao, Asim Kadav, Igor Durdanovic, Hanan Samet, and Hans Peter Graf. "Pruning filters for efficient convnets." arXiv preprint arXiv:1608.08710 (2016). [3] Frankle, Jonathan, and Michael Carbin. "The lottery ticket hypothesis: Finding sparse, trainable neural networks." arXiv preprint arXiv:1803.03635 (2018). [4] Goodfellow, Ian, Yoshua Bengio, and Aaron Courville. Deep learning. MIT press, 2016. ISBN: 978-0262035613 |