Efficient video retrieval using complex sketches and exploration based on semantic descriptors

• Thesis title in Czech: Efektivní vyhledávání ve videu pomocí komplexních skic a explorace založené na sémantických deskriptorech
• Thesis title in English: Efficient video retrieval using complex sketches and exploration based on semantic descriptors
• Key words: Vyhledávání ve videu, barevné signatury, CNN deskriptory, dotazování pomocí skic
• English key words: Video retrieval, color signatures, CNN descriptors, query by sketch
• Academic year of topic announcement: 2015/2016
• Thesis type: diploma thesis
• Thesis language: angličtina
• Department: Department of Software Engineering (32-KSI)
• Supervisor: doc. RNDr. Jakub Lokoč, Ph.D.
• Author: hidden - assigned and confirmed by the Study Dept.
• Date of registration: 05.11.2015
• Date of assignment: 05.11.2015
• Confirmed by Study dept. on: 20.11.2015
• Date and time of defence: 12.09.2016 12:30
• Date of electronic submission: 28.07.2016
• Date of submission of printed version: 28.07.2016
• Date of proceeded defence: 12.09.2016
• Opponents: RNDr. František Mráz, CSc.

Guidelines

Autor práce navrhne a implementuje rozšíření nástroje pro vyhledávání ve videu pomocí skic. Nově budou tyto skicy multimodální tzn. vedle výrazných barevných regionů bude nástroj podporovat také specifikaci hran. Výsledky získané po dotazu bude možné interaktivně explorovat pomocí vhodných podobnostních modelů jako například sémantická podobnost založená na deskriptorech z konvolučních neuronových sítí. Součástí práce bude návrh dostatečně rychlého a škálovatelného řešení, které zprostředkuje bezprostřední odezvy systému i pří hledání v rozsáhlejších kolekcích videa (stovky hodin). Aktuálně nalezené výsledky budou efektivně zobrazovány pro rychlejší identifikaci hledané scény.

References

M. Kruliš, J. Lokoč, and T. Skopal. Efficient extraction of clustering-based feature signatures using gpu architectures. Multimedia Tools and Applications, pages 1-33, 2015.

K. Schoeffmann, M. A. Hudelist, and J. Huber. Video interaction tools: A survey of recent work. ACM Comput. Surv., 48(1):14:1-14:34, 2015.

A. Krizhevsky, I. Sutskever, and G. E. Hinton. Imagenet classification with deep convolutional neural networks. Advances in Neural Information Processing Systems 25: Proceedings of 26th Annual Conference on Neural Information
Processing Systems, pages 1097-1105, 2012.

D. Novak, M. Batko, and P. Zezula. Large-scale similarity data management with distributed metric index. Inf. Process. Manage., 48(5):855-872, 2012.

P. Zezula, G. Amato, V. Dohnal, and M. Batko. Similarity Search: The Metric Space Approach, volume 32 of Advances in Database Systems. Springer US, 2006.