Výpočetní zpracování hudby - NPFL144

• Anglický název: Computational music processing
• Zajišťuje: Ústav formální a aplikované lingvistiky (32-UFAL)
• Fakulta: Matematicko-fyzikální fakulta
• Platnost: od 2024
• Semestr: zimní
• E-Kredity: 3
• Rozsah, examinace: zimní s.:2/0, Zk [HT]
• Počet míst: neomezen
• Minimální obsazenost: neomezen
• 4EU+: ne
• Virtuální mobilita / počet míst pro virtuální mobilitu: ne
• Stav předmětu: vyučován
• Jazyk výuky: angličtina
• Způsob výuky: prezenční
• Garant: Mgr. Jan Hajič, Ph.D.
• Vyučující: Mgr. Jan Hajič, Ph.D.
• Je korekvizitou pro: NPFL145

Anotace

čeština

Předmět seznámí posluchače s výpočetním zpracováním hudby v komerční i akademické sféře: reprezentace hudby od audia přes symbolické reprezentace (MIDI, MusicXML) po obrazovou informaci (noty), a metody od zpracování signálu po aplikiace strojového učení. Předmětu je vhodným základem pro hudebně-informatické ročníkové projekty a absolventské práce. Znalost hudební teorie a notace není nezbytná (minimum bude vysvětleno), nicméně pokud jste se nikdy hudbě aktivně nevěnovali, doporučujeme se alespoň seznámit s pojmy jako harmonie či hudební forma. Předmět bude vyučován v angličtině.

Poslední úprava: Mírovský Jiří, RNDr., Ph.D. (22.04.2024)

angličtina

The subject introduces participants to computational music processing both in the industrial and academic areas: music representations, from audio to symbolic representations (MIDI, MusicXML) to the visual domain (sheet music), and methods from signal processing to machine learning. This subject is a good basis for music-related software projects or theses. Knowing music theory and notation is not required (the essentials will be explained), but if you never had any contact with music, we recommend reading up on terms like harmony or musical form. The subject will be taught in English.

Poslední úprava: Mírovský Jiří, RNDr., Ph.D. (22.04.2024)

Podmínky zakončení předmětu

čeština

Ústní zkouška, která krome prehledových otázek zahrnuje i podrobnejší diskusi nad vybraným doma pripraveným tématem.

Poslední úprava: Mírovský Jiří, RNDr., Ph.D. (22.03.2024)

angličtina

Oral examination, which will aside from “regular” questions will include a more in-depth discussion of a topic which the student chooses to prepare at home.

Poslední úprava: Mírovský Jiří, RNDr., Ph.D. (22.03.2024)

Literatura

čeština

Müller, Meinard. Fundamentals of Music Processing Using Python and Jupyter Notebooks. Cham: Springer, 2021.

https://link.springer.com/content/pdf/10.1007/978-3-030-69808-9.pdf

Müller, Meinard, and Frank Zalkow. "libfmp: A Python package for fundamentals of music processing." Journal of Open Source Software 6, no. 63 (2021): 3326.

https://joss.theoj.org/papers/10.21105/joss.03326.pdf

Lerch, Alexander. An Introduction to Audio Content Analysis: Music Information Retrieval Tasks and Applications. 2nd Edition. New York: Wiley-IEEE Press, 2021.

Freely available as slides: https://github.com/alexanderlerch/ACA-Slides

and accompanying code: https://github.com/alexanderlerch/pyACA

and website: https://www.audiocontentanalysis.org/

Knees, Peter, and Markus Schedl. Music similarity and retrieval: an introduction to audio-and web-based strategies. Vol. 36. Heidelberg: Springer, 2016.

https://link.springer.com/content/pdf/10.1007/978-3-662-49722-7.pdf

(Jednotlivé články k tématům v sylabu budou v repozitáři k předmětu.)

Poslední úprava: Mírovský Jiří, RNDr., Ph.D. (22.03.2024)

Sylabus

čeština

1. Hudba a její formalizace. Zvuk vs. tón. Základní hudební příznaky (tempo, doby, harmonie, melodie). Uživatelské role (posluchač, distributor, interpret).

2. Základy zpracování hudebního audia: signál, sampling, konvoluce a dekonvoluce. Rezonance, alikvotní řada a barva.

3. Extrakce příznaků z audia. Tóny a jejich výšky. Transkripce monofonní a polyfonní nahrávky, extrakce melodie, harmonie, žánry. Beat tracking, downbeat & tempo estimation. Source separation.

4. Symbolické popisy hudby. MIDI, maticový pohled. Formáty pro hudební notaci: ABC, humdrum, lilypond, MusicXML, MEI. Vybrané databáze symbolicky zakódované hudby.

5. Vizuální záznam hudby: notopis. OMR ve světě a na MFF UK.

6. Hudební podobnost v symbolických reprezentacích a v audiu. Vyhledávání, multimodalita — query by humming.

7. Multimodalita a performance: Score following se symbolickou reprezentací a bez ní, jeho aplikace. Modelování hudební expresivity. Automatický adaptivní doprovod.

8. Zpěv a texty. Detekce zpěvu, syntéza zpěvu, automatická transkripce a zarovnání zpívaného textu.

9. Digitální dějiny hudby. Databáze: RISM, F-Tempo, Cantus. Příklady: digitální edice (Mozart, Josquin), databáze popuární hudby (Billboard, Million Songs Dataset)

10. Generování hudby. Algoritmičnost, náhoda a generativní umělá inteligence. Různé human-in-the-loop systémy.

11. Hudební distribuce: Doporučovací systémy — collaborative filtering, cold start problem. Copyright: ContentID, fingerprinting. Cover song identification.

12. Hudební kognice. EEG a hudba, entrainment, muzikoterapie: Parkinson, deprese, Alzheimer.

13. Hudba mimoevropských kultur. Rágy, čínská hudba, maqamy, arabsko-andaluská hudba. Lidová hudba, kulturně-evoluční pohled.

14. Svět hudební informatiky: průmysl, akademická sféra, důležité webové rozcestníky. Svět, Evropa, ČR, MFF. Důležité open-source knihovny.

15. Opakování na zkoušku, rezerva, prostor pro diskusi.

(Předmět neřeší samotnou digitální produkci hudby a zvukařinu: live coding, práci s DAW, mixing, implementaci VST pluginů, atd.)

Poslední úprava: Mírovský Jiří, RNDr., Ph.D. (22.03.2024)

angličtina

1. Music and its formalizations. Sound vs. tone. Elementary musical features (tempo, beat, harmony, melody). User roles (listener, distributor, musician).

2. Basics of musical audio processing: signal, sampling, convolution and the deconvolution problem. Resonance, harmonic row and timbre.

3. Audio feature extraction. Tones and pitches. Automated transcription of monophonic and polyphonic recordings, melody extraction, harmony and genre. Beat tracking, downbeat and tempo estimation. Source separation.

4. Symbolic music description. MIDI, matrix view. Music notation formats: ABC, humdrum, LilyPond, MusicXML, MEI. Selected databases of symbolic music.

5. Visual representations of music: notation. OMR worldwide and at FMP CUNI.

6. Musical similarity in symbolic representations and in audio. Search, mulitmodality — query by humming.

7. Multimodality and performance. Score following with and without symbolic representations and its applications. Modeling music expression. Automatic adaptive accompaniment.

8. Singing and lyrics. Singing voice detection, singing voice synthesis, automatic transcription and alignment of sung text.

9. Digital music history. Databases: RISM, F-Tempo, Cantus. Examples of digital editions (Mozart, Josquin), popular music databases (Billboard, Million Songs Dataset).

10. Music generation. Algorithmicity, chance, and generative artificial intelligence. Various human-in-the-loop systems.

11. Music distribution. Recommender systems — collaborative filtering, cold start problem. Copyright: ContentID, fingerprinting. Cover song identification.

12. Music cognition. EEG and music, entrainment, music therapy: Parkinson’s disease, depression, Alzheimer disease.

13. Non-European musical cultures. Ragas, Chinese music, Maqams, arab-andalusian music. Folk music. Cultural evolution perspectives.

14. The world of computational music processing: industry, academia, important online resources. Worldwide/Europe/Czechia/FMP CUNI. Improtant open-source libraries.

15. Recap for exam, reserve time, discussion space.

(The subject does not touch on digital music production and audio engineering: no live coding, no DAW work, no VST plugins, etc.)

Poslední úprava: Mírovský Jiří, RNDr., Ph.D. (22.03.2024)

Vstupní požadavky

čeština

Urceno predevším pro 2.-3. rocník Bc. studia, príp. 1. rocník Nav. Mgr. studia (predevším pri zájmu o diplomovou práci).

Poslední úprava: Mírovský Jiří, RNDr., Ph.D. (18.04.2024)

angličtina

Designed for 2nd-3rd year Bachelor students or 1st year Masters students (esp. if there is interest in music-related theses).

Poslední úprava: Mírovský Jiří, RNDr., Ph.D. (18.04.2024)