Neural machine translation recently became a new interesting and successful paradigm. The new paradigm
brings new theoretical concepts and new ways of seeing the classic problems of machine translation. The goal of
this seminar is to familiarize the students with the theoretical framework of neural machine translation in such
depth that would allow them to study the most recent academic papers on this topic.
Last update: T_UFAL (09.01.2017)
Neuronový strojový překlad se v posledních letech stal novým zajímavým a úspěšným paradigmatem strojového
překladu. S novým paradigmatem přichází nové teoretické koncepty a způsob, jakým se nahlíží na (staré známé)
problémy strojového překladu. Cílem tohoto semináře je seznámit studenty do hloubky s koncepty neuronového
strojového překladu takovým způsobem, aby byli schopni samostatně studovat vědecké články, které prezentují
nová zlepšení v rámci neuronového strojového překladu.
Aim of the course - Czech
Last update: T_UFAL (09.01.2017)
Na prvních šesti seminářích se studenti formou přednášky a diskuse seznámí s následujícími tématy:
Rekurentní neuronové sítě a s nimi spojená matematická intuice
Sequence-to-sequence learning
Attention model a jeho varianty
Řešení problému omezeného slovníku
Pokročilé metody trénování (minimum risk training, zpětnovazební učení)
Ve zbývající části semestru budou formou studentských referátů prezentovány předem vybrané články z odborných konferencí a časopisů. V následující moderované diskuzi se studenti pokusí navrhnout, jak by bylo možné obsah probíraného článku naprogramovat.
Zápočet bude možné získat za:
Včasné písemné zodpovězení otázek k prezentovaným článkům a
Přednesení referátu k vybranému článku nebo fungující implementaci některého ze článků
Course completion requirements -
Last update: doc. RNDr. Vladislav Kuboň, Ph.D. (05.06.2018)
Students pass the practicals by submitting sufficient number of assignments. The assignments are announced regularly the whole semester and are due in several weeks. Considering the rules for completing the practicals, it is not possible to retry passing it. Passing the practicals is not a requirement for going to the exam.
The exam consists of a written part and an optional oral part, where the students can react to queries regarding the written part and also answers additional questions.
The requirements of the exam correspond to the course syllabus, in the level of detail which was presented on the lectures.
Last update: doc. RNDr. Vladislav Kuboň, Ph.D. (05.06.2018)
Zápočet je udělován za vypracování dostatečného množství úloh. Úlohy jsou zadávány pravidelně celý semestr a na vypracování každé z nich je několik týdnů. Vzhledem ke způsobu obdržení zápočtu není možné jeho získání opakovat. Získání zápočtu není podmínkou k připuštění ke zkoušce.
Zkouška sestává z písemné části a z nepovinné ústní části, kde studenti mohou reagovat na dotazy ke svému řešení a odpovídat na doplňující otázky.
Požadavky zkoušky odpovídají sylabu předmětu v rozsahu, který byl prezentován na přednášce.
Literature -
Last update: T_UFAL (09.01.2017)
Goodfellow, Ian, Yoshua Bengio, Aaron Courville. Deep Learning. MIT Press, 2016. (chapters 10-12).
Sutskever, Ilya, Oriol Vinyals, and Quoc V. Le. "Sequence to sequence learning with neural networks." Advances in neural information processing systems. 2014.
Bahdanau, Dzmitry, Kyunghyun Cho, and Yoshua Bengio. "Neural machine translation by jointly learning to align and translate." arXiv preprint arXiv:1409.0473 (2014).
Sennrich, Rico, Barry Haddow, and Alexandra Birch. "Neural machine translation of rare words with subword units." arXiv preprint arXiv:1508.07909 (2015).
Shen, Shiqi, et al. "Minimum risk training for neural machine translation." arXiv preprint arXiv:1512.02433 (2015).
Wu, Yonghui, et al. "Google's Neural Machine Translation System: Bridging the Gap between Human and Machine Translation." arXiv preprint arXiv:1609.08144 (2016).
Sutskever, Ilya, Oriol Vinyals, and Quoc V. Le. "Sequence to sequence learning with neural networks." Advances in neural information processing systems. 2014.
Bahdanau, Dzmitry, Kyunghyun Cho, and Yoshua Bengio. "Neural machine translation by jointly learning to align and translate." arXiv preprint arXiv:1409.0473 (2014).
Sennrich, Rico, Barry Haddow, and Alexandra Birch. "Neural machine translation of rare words with subword units." arXiv preprint arXiv:1508.07909 (2015).
Shen, Shiqi, et al. "Minimum risk training for neural machine translation." arXiv preprint arXiv:1512.02433 (2015).
Wu, Yonghui, et al. "Google's Neural Machine Translation System: Bridging the Gap between Human and Machine Translation." arXiv preprint arXiv:1609.08144 (2016).
