Základy rozpoznávání a generování mluvené řeči - NPFL038

• Anglický název: Fundamentals of Speech Recognition and Generation
• Zajišťuje: Ústav formální a aplikované lingvistiky (32-UFAL)
• Fakulta: Matematicko-fyzikální fakulta
• Platnost: od 2020
• Semestr: zimní
• E-Kredity: 5
• Rozsah, examinace: zimní s.:2/2, Z+Zk [HT]
• Počet míst: neomezen
• Minimální obsazenost: neomezen
• 4EU+: ne
• Virtuální mobilita / počet míst pro virtuální mobilitu: ne
• Stav předmětu: vyučován
• Jazyk výuky: čeština, angličtina
• Způsob výuky: prezenční
• Další informace: https://ufal.mff.cuni.cz/courses/npfl038
• Garant: Mgr. Nino Peterek, Ph.D.
• Vyučující: Mgr. Nino Peterek, Ph.D.
• Třída: DS, matematická lingvistika; Informatika Mgr. - Matematická lingvistika
• Kategorizace předmětu: Informatika > Počítačová a formální lingvistika
• Je neslučitelnost pro: NPFX038
• Je záměnnost pro: NPFX038

Anotace

čeština

Tato přednáška se zabývá rozpoznáváním řeči, generováním řeči, extrakcí hlasových rysů a modelováním charakteristik výslovnosti. Zvláštní pozornost je věnována Skrytým Markovovým modelům použitým na řeč (FFT, n-dimenzionální klastrování, extrakci hodnot parametrů z dat, fonetické reprezentaci, prozodické analýze apod.) a jejich DNN-HMM hybridním modelům. Součástí cvičení je natrénování vlastních modelů rozpoznávání a generování řeči.

Poslední úprava: Mírovský Jiří, RNDr., Ph.D. (11.05.2022)

angličtina

This course deals with speech recognition and generation tasks and feature extraction of voice and utterance characteristics. Of particular interest will be topics related to Hidden Markov Models as applied to speech (FFT, n- dimensional clustering, Gaussian mixtures, parameter value extraction from data, phonetic representation, prosodic analysis etc.) and to their DNN-HMM hybrid models. Preparation and training of own speech recognition and generation models.

Poslední úprava: Mírovský Jiří, RNDr., Ph.D. (11.05.2022)

Podmínky zakončení předmětu

čeština

Absolvování ústní zkoušky a zápočet.

Udělení zápočtu je vázáno na přípravu a předvedení vlastních modelů rozpoznávání a generování mluvené řeči.

Zápočet lze opakovat.

Poslední úprava: Peterek Nino, Mgr., Ph.D. (10.06.2019)

angličtina

Oral examination and project presentation.

The practical part is controlled through the preparation and presentation of own models for speech recognition and generation.

The presentation is repeatable.

Poslední úprava: Peterek Nino, Mgr., Ph.D. (10.06.2019)

Literatura

čeština

Gernot A. Fink, Markov Models for Pattern Recognition, Springer, 2014

Steve Young, Dan Kershaw, Julian Odell, Dave Ollason, Valtcho Valtchev, Phil Woodland, Cambridge, The HTK Book, Entropic Ltd. http://htk.eng.cam.ac.uk, 1995-2007

Zdena Palková, Fonetika a fonologie češtiny, Karolinum, Praha, 1997

Dong Yu,Li Deng, Automatic Speech Recognition A Deep Learning Approach, 2015

U. Kamath, J. Liu, J. Whitaker, Deep Learning for NLP and Speech Recognition, Springer, 2019

NPFL038 Detaily a novinky

Poslední úprava: Peterek Nino, Mgr., Ph.D. (23.05.2025)

angličtina

Gernot A. Fink, Markov Models for Pattern Recognition, Springer, 2014

Steve Young, Dan Kershaw, Julian Odell, Dave Ollason, Valtcho Valtchev, Phil Woodland, The HTK Book, Cambridge, Entropic Ltd. http://htk.eng.cam.ac.uk, 1995-2007

Zdena Palková, Fonetika a fonologie češtiny, Karolinum, Praha, 1997

Dong Yu,Li Deng, Automatic Speech Recognition A Deep Learning Approach, 2015

U. Kamath, J. Liu, J. Whitaker, Deep Learning for NLP and Speech Recognition, Springer, 2019

NPFL038 Details and News

Poslední úprava: Peterek Nino, Mgr., Ph.D. (23.05.2025)

Požadavky ke zkoušce

čeština

Zkouška probíhá ústní formou a pokrývá teoretickou část předmětu (sylabu).

Zápočet není nutnou podmínkou k účasti u zkoušky.

Poslední úprava: Peterek Nino, Mgr., Ph.D. (13.10.2017)

angličtina

Exam covers theoretical part of the course (syllabus), there is only oral exam.

Finalisation of practical part is not necessary before the exam.

Poslední úprava: Peterek Nino, Mgr., Ph.D. (13.10.2017)

Sylabus

čeština

• Počítačové zpracování zvuku.

• Úvod do produkce a vnímání řeči.

• Vektorová kvantizace a GM (Gauss. Mixtures).

• HMM řečové modely - HMM vyhodnocení, Viterbi dekódování, Viterbi trénování.

• Transducery.

• HMM řečová syntéza (HMM TTS).

• DNN řečová syntéza (DNN TTS).

• DNN-HMM hybridní systémy řečového rozpoznávání.

• Pozvánka do kurzu NPFL079 s pokročilými metodami zpracování řeči (End-To-End DNN modely).

Praktická část:

Popis softwarového nářadí HTK

• moduly pro přípravu dat,

• moduly pro trénování, rozpoznávání a testování.

Příprava dat

• gramatika úlohy,

• jazykový model,

• fonetický slovník,

• nahrání dat, jejich přepis a kódování.

Vytvoření HMM monofonémů

• vytvoření startovních modelů bez znalosti časových hranic fonémů,

• ošetření modelu ticha,

• automatické doladění přepisů.

Vytvoření HMM trifonémů

• převod monofonému na trifonémy,

• trifonémové sdílení stavů pomocí rozhodovacích stromů,

• zjemnění pravděpodobnostních funkcí.

Metody vyhodnocení úspešnosti rozpoznávače.

Analýza prosodie mluvené řeči.

Poslední úprava: Peterek Nino, Mgr., Ph.D. (24.05.2025)

angličtina

• Audio signal processing.

• Introduction to Speech Production and Perception.

• Vector Quantisation and Gaussian mixtures.

• HMM speech models - HMM evaluation, Viterbi decoding.

• Viterbi training.

• Transducers.

• Text To Speech - HMM-based Speech Synthesis.

• TTS - DNN-based models.

• DNN-HMM hybrid system for speech recognition.

• Invitation to advanced speech recognition course NPFL079 with End-To-End DNN models.

Practical part:

HTK Tools description

• Data Preparation Tools,

• Training Tools,

• Recognition Tools,

• Analysis Tool.

Data Preparation

• the Task Grammar,

• the Language Model,

• the Dictionary,

• Recording the Data, Creating the Transcription Files, Coding the Data.

Creating Monophone HMMs

• Creating Flat Start Monophones,

• Fixing the Silence Models,

• Realigning the Training Data.

Creating Triphones HMMs

• Making Triphones from Monophones,

• Making Tied-State Triphones,

• Splitting States.

Recogniser Evaluation.

Speech Prosody Analysis.

Poslední úprava: Peterek Nino, Mgr., Ph.D. (24.05.2025)