SVM classifiers and heuristics for feature selection
| Název práce v češtině: | SVM klasifikátory a heuristiky pro selekci příznaků |
|---|---|
| Název v anglickém jazyce: | SVM classifiers and heuristics for feature selection |
| Klíčová slova: | Strojové Učení, Výběr Příznaků, SVM, Recursive Feature Elimination |
| Klíčová slova anglicky: | Machine Learning, Feature Selection, SVM, Recursive Feature Elimination |
| Akademický rok vypsání: | 2014/2015 |
| Typ práce: | bakalářská práce |
| Jazyk práce: | angličtina |
| Ústav: | Ústav formální a aplikované lingvistiky (32-UFAL) |
| Vedoucí / školitel: | RNDr. Martin Holub, Ph.D. |
| Řešitel: | skrytý - zadáno a potvrzeno stud. odd. |
| Datum přihlášení: | 04.12.2014 |
| Datum zadání: | 08.12.2014 |
| Datum potvrzení stud. oddělením: | 10.12.2014 |
| Datum a čas obhajoby: | 02.09.2016 00:00 |
| Datum odevzdání elektronické podoby: | 27.07.2016 |
| Datum odevzdání tištěné podoby: | 28.07.2016 |
| Datum proběhlé obhajoby: | 02.09.2016 |
| Oponenti: | doc. RNDr. Ing. Miloš Kopa, Ph.D. |
| Zásady pro vypracování |
| Metoda podpůrných vektorů (angl. Support Vector Machines, dále SVM) se často a úspěšně užívá pro trénování klasifikátorů (viz [1], [2]). Předmětem bakalářské práce bude rigorózní matematický popis a analýza metody SVM v souvislosti s heuristikami pro automatickou selekci příznaků ([3], [4], [7]). Cílem práce je analyzovat zejména heuristiku SVM-RFE (z anglického “Recursive Feature Elimination”) popsanou poprvé v [5] a její pozdější modifikaci publikovanou v [6]. Úkolem studenta bude zkoumat výkonnost této heuristiky, její meze, možnosti kombinace s jinými postupy pro selekci příznaků a navrhnout její zlepšení. Student aplikuje SVM-RFE a její modifikace na konkrétní klasifikační úlohu definovanou v rámci projektu disambiguace anglických sloves ([8]) a provede vyhodnocení úspěšnosti klasifikace s použitím dostupných testovacích dat ([8]). Předpokládá se experimentální implementace v prostředí R. |
| Seznam odborné literatury |
| 1. Cristianni, Nello and John Shawe-Taylor. An Introduction to Support Vector Machines and other Kernel-based Learning Methods. Cambridge University Press, 2000.
2. Chang, C.-C. and C.-J. Lin. LIBSVM: a library for support vector machines. ACM Transactions on Intelligent Systems and Technology, 2:27:1--27:27, 2011. 3. Guyon, Isabelle and Andre Elisseeff: An Introduction to Variable and Feature Selection. Journal of Machine Learning Research, 3 (2003), pp. 1157-1182. 4. Guyon, I., S. Gunn, M. Nikravesh, and L. Zadeh, editors, Feature Extraction, Foundations and Applications. Springer, 2006, vybrané kapitoly 5. Guyon, I., J. Weston, S. Barnhill, and V. Vapnik: Gene Selection for Cancer Classification using Support Vector Machines. Machine Learning, 46, 2002, pp. 389-422. 6. Mouhamadou Lamine Samb, Fodé Camara, Samba Ndiaye, Yahya Slimani, Mohamed Amir Esseghir: A Novel RFE-SVM-based Feature Selection Approach for Classification. In: International Journal of Advanced Science and Technology, Vol. 43, 2012, pp. 27-36. 7. Chang, Y.-W. and C.-J. Lin. Feature Ranking Using Linear SVM. JMLR Workshop and Conference Proceedings: Causation and Prediction Challenge (WCCI 2008) 3(2008), 53-64. 8. Holub, Martin; Kríž, Vincent; Cinková, Silvie; Bick, Eckhard: Tailored Feature Extraction for Lexical Disambiguation of English Verbs Based on Corpus Pattern Analysis. COLING 2012: Proceedings of the 24th International Conference on Computational Linguistics (Coling 2012), Mumbai, India, 2012. |