Praktikum hudební informatiky - NPFL145

• Anglický název: Practicum in Computational Music Processing
• Zajišťuje: Ústav formální a aplikované lingvistiky (32-UFAL)
• Fakulta: Matematicko-fyzikální fakulta
• Platnost: od 2024
• Semestr: letní
• E-Kredity: 3
• Rozsah, examinace: letní s.:0/2, Z [HT]
• Počet míst: neomezen
• Minimální obsazenost: neomezen
• 4EU+: ne
• Virtuální mobilita / počet míst pro virtuální mobilitu: ne
• Stav předmětu: vyučován
• Jazyk výuky: angličtina
• Způsob výuky: prezenční
• Garant: Mgr. Jan Hajič, Ph.D.
• Vyučující: Mgr. Jan Hajič, Ph.D.
• Korekvizity : NMAI055, NPFL144, NTIN060

Anotace

čeština

Předmět navazuje na úvodní přednášku z hudební informatiky praktickou prací na vybraných tématech: transkripce polyfonní nahrávky, audio fingerprinting a generování hudby. Ke každému tématu bude krátký domácí úkol, za celý předmět zápočtový projekt. Bude se využívat Python a příslušné knihovny na zpracování hudby (librosa, music21). Předmět lze absolvovat i bez znalosti strojového učení. Předpokládá se nicméně znalost programování v rozsahu Programování I a II a Algoritmy a datové struktury I, a předchozí účast na přednášce Výpočetní zpracování hudby. Předmět bude vyučován v angličtině.

Poslední úprava: Mírovský Jiří, RNDr., Ph.D. (18.04.2024)

angličtina

The subject builds on the introductory talk on computational music processing via hands-on work on selected problems: polyphonic music transcription, audio fingerprinting and music generation. There will be short homework for each. We will use Python and music-specific libraries (librosa, music21). The subject does not require knowledge of machine learning. We assume knowledge of Programming I and II, Algorithms and data structures I (ideally II as well), basic math subjects, and that you took the Computational music processing introductory subject. The subject will be taught in English.

Poslední úprava: Mírovský Jiří, RNDr., Ph.D. (18.04.2024)

Podmínky zakončení předmětu

čeština

V první tretine semestru si student zformuluje téma projektu. Zápocet se udeluje za dokoncené a strucne odprezentované domácí úkoly (33 %) a zápoctový projekt: implementace (34 %) a dokumentace (33 %). Soubeh zápoctového projektu s rocníkovým projektem (NPRG045) je možný (se svolením vedoucího RP a s jasnou definicí toho, které výstupy patrí tomuto predmetu a které NPRG045), avšak bude vyžadovat adekvátne vyšší množství práce a/nebo prihlášení se k BP na príslušné téma, v souladu s podmínkami NPRG045.

Zápoctový projekt (i nehotový, predevším v prípade soubehu s NPRG045) se povinne prezentuje na jednom z posledních cvicení v semestru. Je také treba (strucne) odprezentovat alespon jedno rešení domácího úkolu.

Poslední úprava: Mírovský Jiří, RNDr., Ph.D. (22.03.2024)

angličtina

In the first third of the semester, the student formulate project topics. The “zápocet” is given for completed and briefly presented homework (33 %) and a semestral project: implementation (34 %) and documentation (33 %). Using the topic also for your Individual software project is possible (if the superviser of the software project agrees, and if there is a clear designation of which items are for this subject and which are for NPRG045), but this will require a larger amount of work and/or signing up for a corresponding Bachelor thesis, in accordance with the conditions of NPRG045.

The semestral project must be presented at one of the last sessions in the semester (possibly also as work in progress, especially in case of overlap with NPRG045). It is also compulsory to briefly present at least one homework solution.

Poslední úprava: Mírovský Jiří, RNDr., Ph.D. (22.03.2024)

Literatura

čeština

McFee, B., Matt McVicar, Daniel Faronbi, Iran Roman, Matan Gover, Stefan Balke, Scott Seyfarth, Ayoub Malek, Colin Raffel, Vincent Lostanlen, Benjamin van Niekirk, Dana Lee, Frank Cwitkowitz, Frank Zalkow, Oriol Nieto, Dan Ellis, Jack Mason, Kyungyun Lee, Bea Steers, … Waldir Pimenta. (2023). librosa/librosa: 0.10.1 (0.10.1). Zenodo. https://doi.org/10.5281/zenodo.8252662

Müller, Meinard, and Frank Zalkow. "libfmp: A Python package for fundamentals of music processing." Journal of Open Source Software 6, no. 63 (2021): 3326.

https://joss.theoj.org/papers/10.21105/joss.03326.pdf

Lerch, Alexander. An Introduction to Audio Content Analysis: Music Information Retrieval Tasks and Applications. 2nd Edition. New York: Wiley-IEEE Press, 2021.

Freely available as slides: https://github.com/alexanderlerch/ACA-Slides

and accompanying code: https://github.com/alexanderlerch/pyACA

and website: https://www.audiocontentanalysis.org/

Dorien Herremans, Ching-Hua Chuan, and Elaine Chew. 2017. A Functional Taxonomy of Music Generation Systems. ACM Comput. Surv. 50, 5, Article 69 (September 2018), 30 pages.

https://doi.org/10.1145/3108242

Morreale, Fabio, Megha Sharma, and I. Wei. "Data Collection in Music Generation Training Sets: A Critical Analysis." ISMIR 2023 (2023).

https://researchspace.auckland.ac.nz/bitstream/handle/2292/65322/ISMIR_2023-1.pdf?sequence=1

Poslední úprava: Mírovský Jiří, RNDr., Ph.D. (22.03.2024)

Sylabus

čeština

1. Podmínky zápočtu, témata projektů. Úvod prvního problému: transkripce vícehlasé nahrávky do MIDI. Datové sady, metody evaluace.

2. Transkripce vícehlasé nahrávky do MIDI: deterministické metody, non-negative matrix factorization.

3. Transkripce vícehlasé nahrávky do MIDI: strojové učení.

4. Transkripce vícehlasé nahrávky do MIDI: prezentace a diskuse zvolených postupů a dosažených výsledků.

5. Music fingerprinting: úvod do problému, datové sady, metody evaluace.

6. Music fingerprinting: reprezentace bez strojového učení a s ním. Indexování.

7. Music fingerprinting: identifikace cover verzí.

8. Music fingerprinting: prezentace a diskuse zvolených postupů a dosažených výsledků.

9. Generování hudby: vymezení pod-úloh (stylisticky definované vs. volné, symbolické vs. audio), představení datových sad, možnosti automatické evaluace.

10. Generování hudby: symbolická rovina. Deterministické a aleatorické postupy, koláže.

11. Generování hudby: symbolická rovina. Strojové učení: linearizace, tokenizace. Tokenizace audia, generování z audia.

12. Generování hudby: uživatelská rozhraní a interaktivita. Využívání existujících modelů.

13. Prezentace projektů.

14. Prezentace projektů.

(Předmět neřeší digitální produkci hudby a zvukařinu: live coding, práci s DAW, mixing, implementaci VST pluginů, atd.)

Poslední úprava: Mírovský Jiří, RNDr., Ph.D. (22.03.2024)

angličtina

1. Conditions of completing the subject, project topics. Introduction to first problem: polyphonic music transcription to MIDI. Datasets, evaluation methods.

2. Polyphonic music transcription: deterministic methods, non-negative matrix factorization.

3. Polyphonic music transcription: machine learning.

4. Polyphonic music transcription: presentations, discussion of methods and results.

5. Music fingerprinting: introduction to problem, datasets, evaluation methods.

6. Music fingerprinting: representations without and with machine learning. Indexing.

7. Music fingerprinting: cover song identification.

8. Music fingerprinting: presentations, discussion of methods and results.

9. Music generation: defining subproblems (stylistically defined vs. free, symbolic vs. audio), datasets, automated evaluation options.

10. Music generation: symbolic level. Deterministic and aleatoric approaches, mosaics.

11. Music generation: symbolic level. Machine learning: linearization, tokenization. Audio tokenization and audio generation.

12. Music generation: user interfaces and interactivity. Utilizing existing models.

13. Project presentations.

14. Project presentations.

The subject does not touch digital music and sound production and sound engineering: live coding, working with DAWs, mixing, VST plugin implementation etc. are all out of scope.

Poslední úprava: Mírovský Jiří, RNDr., Ph.D. (22.03.2024)

Vstupní požadavky

čeština

Urceno predevším pro 2.-3. rocník Bc. studia, príp. 1. rocník Nav. Mgr. studia (predevším pri zájmu o diplomovou práci).

Poslední úprava: Mírovský Jiří, RNDr., Ph.D. (18.04.2024)

angličtina

Designed for 2nd-3rd year Bachelor students or 1st year Masters students (esp. if there is interest in music-related theses).

Poslední úprava: Mírovský Jiří, RNDr., Ph.D. (18.04.2024)