Pokročilé programování v paralelním prostředí - NPRG058

• Anglický název: Advanced Programming in Parallel Environment
• Zajišťuje: Katedra softwarového inženýrství (32-KSI)
• Fakulta: Matematicko-fyzikální fakulta
• Platnost: od 2020 do 2023
• Semestr: zimní
• E-Kredity: 6
• Rozsah, examinace: zimní s.:2/2, Z+Zk [HT]
• Počet míst: neomezen
• Minimální obsazenost: neomezen
• 4EU+: ne
• Virtuální mobilita / počet míst pro virtuální mobilitu: ne
• Stav předmětu: vyučován
• Jazyk výuky: čeština, angličtina
• Způsob výuky: prezenční
• Způsob výuky: prezenční
• Další informace: https://www.ksi.mff.cuni.cz/teaching/nprg058-web/pages/index
• Garant: doc. RNDr. Martin Kruliš, Ph.D.; RNDr. Jakub Yaghob, Ph.D.
• Prerekvizity : NPRG042

Anotace

čeština

Poslední úprava: T_KSI (27.04.2015)

Praktický seminář, který přímo navazuje na přednášku Programování v paralelním prostředí, a který se zaměřuje na vybrané pokročilé aspekty paralelního programování. Cílem je podrobně seznámit studenty praktickou formou s komplikovanějšími problémy v oblasti programování víceprocesorových NUMA serverů a práce s přídavnými paralelními zařízeními, zejména pak GPGPU (CUDA) a Intel Xeon Phi. Bude předložena řada úloh, které studenti rozeberou společně na cvičení a následně vyzkouší naimplementovat v rámci domácích úkolů. Úlohy budou studentům opraveny a řešení budou podrobena kolektivní diskusi.

angličtina

Poslední úprava: T_KSI (27.04.2015)

A practical seminar, which is a continuation of Programming in Parallel Environment lectures, focuses on more advanced aspects of parallel programming. The main objective is to practically introduce more complicated problems to the students regarding programming of multiprocessor NUMA servers and employing additional parallel devices, especially the GPGPUs (CUDA) and Xeon Phi devices. The students will be given several problems, which will be analyzed during lectures and implemented by the students in their home assignments. The results will be verified and subjected to collective discussion

Literatura

čeština

Poslední úprava: T_KSI (01.05.2013)

James Reinders: Intel Threading Building Blocks: Outfitting C++ for Multi-core Processor Parallelism, O'Reilly

Benedict Gaster, Lee Howes, David R. Kaeli, Perhaad Mistry, Dana Schaa: Heterogeneous Computing with OpenCL, Morgan Kaufmann; 2 edition (November 27, 2012)

Shane Cook: CUDA Programming: A Developer's Guide to Parallel Computing with GPUs (Applications of GPU Computing Series)

OpenCL - Online Manual (http://www.khronos.org/registry/cl/sdk/1.2/docs/man/xhtml/)

CUDA Online Documentation (http://docs.nvidia.com/cuda/index.html)

Sylabus

čeština

Poslední úprava: T_KSI (27.04.2015)

V rámci předmětu budou studenti řešit následující problémy:

• Plánování na vícejádrových systémech a NUMA systémech

• Otázky synchronizace na vícejádrových CPU a víceprocesorových systémech

• Otázka efektivity datových přenosů mezi přídavným zařízením (např. GPU) a hlavní pamětí

• Vyvažování zátěže mezi CPU a přídavnými akcelerátory

• Transformace problémů na datově paralelní úlohy a jejich mapování na GPU

• Sdílený přístup do paměti, cache-aware programování a atomické operace na GPU

• Řešení nehomogenních úloh na GPU (perzistentní vlákna, dynamický paralelismus)

• Pouziti Xeon Phi zarizeni a hlavni rozdily mezi Intel MIC a GPU architekturami

angličtina

Poslední úprava: T_KSI (27.04.2015)

The seminar will present the following problems:

• Task scheduling on multicore CPUs and NUMA systems

• Synchronization on multi-core CPUs and multiprocessor systems

• Efficiency of the data transfers between additional devices and host memory

• Load balancing between CPU and additional accelerators

• Transforming problems into data parallel tasks and their mapping to GPUs

• Shared memory access, cache-aware programming, and atomic operations on GPU

• Solving irregular workloads on GPUs (persistent threads, dynamic parallelism)

• Xeon Phi devices and the most important differences between Intel MIC and GPU architectures