Orodje za analizo video posnetkov obrazov z vizualizacijo socialnih razmerij

ZVONAR, ANDRAŽ (avtor), Peer, Peter (mentor), Štruc, Vitomir (komentor)

V zadnjih letih modeli strojnega vida izredno hitro napredujejo. Na podlagi razvoja globokih konvolucijskih nevronskih mrež ter inovacij na področju arhitektur slednjih, lahko dosegamo klasifikacijsko točnost višjo od 95 \%. Med tem v zadnjem desetletju nastajajo vedno večje količine video gradiv, ki jih zaradi obsega ni mogoče ročno analizirati. V znanstveni literaturi se avtorji običajno osredotočajo na tehnične vidike kakovosti ter modele obravnavajo ločeno od cevovoda, v katerem se modeli v praksi uporabljajo, kar pa ni dovolj za celovit vpogled v primere praktične uporabe. Cilj diplomskega dela je razvoj spletne aplikacije, ki integrira SOTA (angl. state of the art) modele strojnega vida in demonstrira praktično aplikacijo. Namen aplikacije je analiza video posnetkov, iz katerih izdela graf socialnih razmerji med ljudmi v video posnetku. V ta namen smo razvili cevovod, ki izvaja analizo, ter ga integrirali v spletno aplikacijo. Cevovod in aplikacijo smo preizkusili na odprtih zbirkah podatkov ter dosegli dobre rezultate, poleg tega pa smo aplikacijo preizkusili tudi na bolj vsakdanjih video posnetkih.

• Jezik: Slovenski jezik
• Ključne besede: strojni vid, nevronska mreža, socialno razmerje
• Vrsta gradiva: Diplomsko delo/naloga
• Tipologija: 2.11 - Diplomsko delo
• Organizacija: FRI - Fakulteta za računalništvo in informatiko
• Leto izida: 2021
• PID: 20.500.12556/RUL-127199
• COBISS.SI-ID: 64440067
• Datum objave v RUL: 24.05.2021

Sekundarni jezik

• Jezik: Angleški jezik
• Naslov: Tool for analysis of faces in videos with social relations visualization

Izvleček

In the last couple of years the machine vision models have seen significant improvements. Based on development of deep convolutional neural networks, we are able to achieve classification accuracy in excess of 95\%. In the meanwhile the amount of available video is increasing rapidly with manual analysis being too slow. In scientific literature, where the improvements are presented, the authors usually focus on tehnical aspects of quality and present them separately from the pipeline, where they are integrated in a real world scenarios. This is not enough to understand how it works in practial cases. The aim of this thesis is to develop a web application that integrated SOTA (state of the art) machine vision models and demonstrates a practical application. The purpose of the application is to analyse videos and build a social network graph. For this purpose, we implemented a pipeline that preforms the analysis and integrated it into the web application. The pipeline and application were tested on open-source datasets, where it achieved very good results. In addition to that the application was also tested on more common everyday videos.

• Ključne besede: machine vision, neural network, social relation