Umělé neuronové sítě v black-box optimalizaci
| Název práce v češtině: | Umělé neuronové sítě v black-box optimalizaci |
|---|---|
| Název v anglickém jazyce: | Artificial neural networks in black-box optimization |
| Akademický rok vypsání: | 2024/2025 |
| Typ práce: | diplomová práce |
| Jazyk práce: | |
| Ústav: | Katedra teoretické informatiky a matematické logiky (32-KTIML) |
| Vedoucí / školitel: | prof. RNDr. Ing. Martin Holeňa, CSc. |
| Řešitel: |
| Zásady pro vypracování |
| 1. Seznamte se s nejúspěšnější metodou pro spojitou black-box optimalizaci, evolučním algoritmem CMA-ES (viz Hansen, 2006).
2. Seznamte se s problematikou náhradního modelování v black-box optimalizaci, zejména s problematikou náhradního modelování ve spojení s algoritmem CMA-ES (viz např. Bajer et al., 2019). 3. Seznamte se nástrojem Comparing Continuous Optimizers (COCO) v INRIA Saclay https://github.com/numbbo/coco, pomocí kterého lze testovat metody black-box optimalizace a v nich používané náhradní modely. 4. Seznamte se s následujícími třemi druhy moderních umělých neuronových sítí: a) Vícevrstvé perceptrony s jádrovou parametrizací (viz např. Paria a kol., 2022) b) Variační autoenkodéry (viz např. Kim et al., 2023) c) Sítě pro učení aprorního rozložení dat (viz Müller et al., 2023) 5. Na základě znalostí získaných v 1.-4. a na základě svých odborných zájmů si vyberte jednu ze sítí a) nebo b) a k ní v každém případě síť c) pro experimentální ověření v roli náhradního modelu pro CMA-ES. 6. S využitím existující modulární implementace CMA-ES implementujte verzi CMA-ES používající Vámi vybrané sítě jako náhradní modelz. 7. Implementovanou verzi CMA-ES otestujte pomocí nastroje COCO, který ji srovná s několika desítkami dalších verzí CMA-ES, včetně těch používajících náhradní modely (a v případě Vašeho zájmu i s jinými metodami pro black-box optimalizaci). |
| Seznam odborné literatury |
| viz http://www.cs.cas.cz/~martin/diplomka67.html |
| Předběžná náplň práce |
| Jako black-box označujeme optimalizaci, při které se nepoužívá matematické vyjádření optimalizované funkce (typicky z důvodu, že žádné takové vyjádření není známo), ale optimalizační algoritmus má k dispozici pouze její hodnoty v konkrétních bodech. Tyto hodnoty se obvykle získávají empiricky měřením nebo pomocí experimentů, ať už probíhají fyzicky nebo v podobě simulací. Pro black-box optimalizaci se používají algoritmy, které nemají skoro žádné předpoklady o matematických vlastnostech optimalizované funkce, nejčastěji evoluční algoritmy a další přírodou inspirované algoritmy jako roje částic. Protože tyto algoritmy pracují pouze s funkčními hodnotami optimalizované funkce, blíží s k jejímu optimu podstatně pomaleji než optimalizační metody pro hladké funkce, které využívají rovněž informace o gradientu optimalizované funkce, případně o jejích druhých derivacích. Tato vlastnost je zvláště nepříjemná ve spojení se skutečností, že empirické získání hodnoty optimalizované funkce bývá obvykle značně nákladné i časově náročné. Evoluční algoritmy však lze podstatně urychlit tím, že při vyhodnocování funkční hodnoty optimalizované funkce používají empirickou black-box funkci jen občas, zatímco většinou vyhodnocují pouze její dostatečně přesný regresní model. Mezi regresními modely používanými k tomuto účelu jsou už zhruba 20 let i umělé neuronové sítě, nejdříve vícevrstvé perceptrony a později pak sítě s radiálními bázovými funkcemi. Pod vlivem současné popularity moderních typů neuronových sítí, často označovaných jako hluboké neuronové sítě, byly nicméně v posledních letech navrženy dva nové přístupy k urychlení black-box optimalizace založené právě na moderních neuronových sítích. První z nich spočívá v optimalizaci na latentním prostoru nižší dimenze, zobrazovaném generativní neuronovou sítí do původního prostoru, v němž leží vstupy optimalizované black-box funkce. Druhá na sítích typu GAN (generative adversarial network), jejichž dvě komponenty se používají pro explorační a exploatační složku optimalizace.
|