Last update: doc. RNDr. Pavel Töpfer, CSc. (23.01.2019)
The subject introduces methods of 3D computer vision. First, in three lectures, we summarize the necessary
concepts of digital image processing / analysis. We follow with the description of one (intensity, RGB) camera and
related geometry. We will learn how to use two or more cameras to determine the depth in the scene and for 3D
reconstruction. We will add further depth sensory modalities, namely lidars, radars, sonars. We will explain how to
combine information from a variety of sensors. We will practically illustrate the methods in the tasks associated
with self-driving cars.
Last update: doc. RNDr. Pavel Töpfer, CSc. (23.01.2019)
Předmět seznámí s metodami trojrozměrného (3D) počítačového vidění. Nejdříve ve třech přednáškách shrneme
potřebné pojmy z digitálního zpracování/analýzy obrazu. Navážeme popisem jedné (intenzitní, RGB) kamery a
související geometrií. Naučíme se použít dvě a více kamer pro zjišťování hloubky ve scéně a 3D rekonstrukci.
Přidáme další hloubkové senzorické modality, a to lidary, radary, sonary. Vysvětlíme, jak sdružovat informaci z
různorodých senzorů. Metody budeme prakticky ilustrovat na úlohách spojených se samořiditelnými auty.
Course completion requirements -
Last update: prof. Ing. Václav Hlaváč, CSc. (24.05.2019)
Credit from exercises. Oral exam. Preparation time as needed. Programming is not a part of the exam.
Last update: prof. Ing. Václav Hlaváč, CSc. (24.05.2019)
Zápočet ze cvičení. Ústní zkouška. Čas na přípravu dle potřeby. Jeden řádný a dva opravné termíny. Součástí zkoušky není programování.
Literature -
Last update: doc. RNDr. Pavel Töpfer, CSc. (21.01.2019)
Šonka M., Hlaváč V., Boyle R.: Image Processing, Analysis and Machine vision, 4th edition, Cengage Learning, Inc , 2015. Asi deset kopií je k dispozici v knihovně Centra strojového vnímání, katedry kybernetiky FEL.
Szeliski R.: Computer Vision: Algorithms and Application, Springer, Berlin, 2010. 812 p. The book draft is freely available for download
Hartley R., Zisserman A: Multiple View Geometry in Computer Vision, Second edition, Cambridge University Press, March 2004. The downloadable draft.
Last update: doc. RNDr. Pavel Töpfer, CSc. (21.01.2019)
Šonka M., Hlaváč V., Boyle R.: Image Processing, Analysis and Machine vision, 4th edition, Cengage Learning, Inc , 2015. Asi deset kopií je k dispozici v knihovně Centra strojového vnímání, katedry kybernetiky FEL.
Szeliski R.: Computer Vision: Algorithms and Application, Springer, Berlin, 2010. 812 p. The book draft is freely available for download
Hartley R., Zisserman A: Multiple View Geometry in Computer Vision, Second edition, Cambridge University Press, March 2004. The downloadable draft.
Syllabus -
Last update: doc. RNDr. Pavel Töpfer, CSc. (23.01.2019)
1. Overview of digital image processing (digital image properties, intensity and geometry transformations, pre-processing, edge detection and interest points / areas).
2. Objects in the image, necessity of interpretation, segmentation of objects.
3. 3D computer vision, goals and applications, overview of the subject. Practical optics. Radial distortion.
4. Camera, projection matrix and its decomposition.
5. Geometry for describing a solid body in 3D. Projective transformation.
6. Geometry of one perspective camera. One camera calibration.
7. Geometry of two cameras, epipolar restriction, fundamental matrix. Geometry of multiple cameras.
8. Essential matrix and its decomposition. 7-point algorithm for estimating the fundamental matrix, 5-point algorithm for estimating the essential matrix.
9. The correspondence problem and its solution.
10. Reconstruction of 3D scene from several views. Shape from motion.
11. Other algorithms for 3D reconstruction, Random Sampling Optimization (RANSAC), Bundle Adjustment.
13. Merging information from different depth sensors.
14. Practical application in a self-driving car.
Last update: doc. RNDr. Pavel Töpfer, CSc. (21.01.2019)
1. Přehled digitálního zpracování obrazu (vlastnosti digitálního obrazu, jasové a geometrické transformace, předzpracování, detekce hran a zájmových bodů/oblastí).
2. Objekty v obraze, nutnost interpretace, segmentace objektů.
3. 3D počítačové vidění, cíle a aplikace, přehled předmětu. Praktická optika. Radiální zkreslení.
4. Kamera, projekční matice a její rozklad.
5. Geometrie pro popis tuhého tělesa ve 3D. Projektivní transformace.
6. Geometrie jedné perspektivní kamery. Kalibrace jedné kamery.
7. Geometrie dvou kamer, epipolární omezení, fundamentální matice. Geometrie více kamer.
8. Esenciální matice a její rozklad. 7-bodový algoritmus pro odhad fundamentální matice, 5-bodový algoritmus pro odhad esenciální matice.
9. Úloha korespondence a její řešení.
10. Rekonstrukce 3D scény z několika pohledů. Úloha Tvar z pohybu (shape from motion).
11. Další algoritmy pro 3D rekonstrukci, optimalizace náhodným vzorkováním (RANSAC), vyrovnání svazku (bundle adjustment).
12. Hloubkové senzory (lidar, radar, sonar, kamery se strukturovaným světlem)
