Avtomatsko podnaslavljanje slik z globokimi nevronskimi mrežamiBAUMKIRHER, URBAN (Avtor) Robnik Šikonja, Marko (Mentor) opisovanje slikoznačevanje slikstrojno učenjegloboko učenjenevronske mrežekonvolucijske nevronske mrežerekurenčne nevronske mrežeLSTM mrežeV diplomskem delu smo implementirali globoko nevronsko mrežo, ki smo jo naučili generirati stavčni opis slike. Mreža povezuje področje računalniškega vida in obdelave naravnega jezika. Sledili smo že objavljenim arhitekturam in arhitekturo implementirali s knjižnico Keras v jeziku Python. Podatke smo pridobili s spletne podatkovne zbirke MS COCO iz leta 2014. Naša rešitev implementira dvodelni model in uporablja globoke konvolucijske, rekurenčne in polno povezane nevronske mreže. Za obdelavo in zajem značilk slik smo uporabili arhitekturo VGG16. Besede smo predstavili z vektorsko vložitvijo GloVe. Model smo naučili na podatkovni zbirki 82.783 slik in testirali s 40.504 slikami ter opisi. Ocenili smo ga z mero BLEU in dosegli vrednost 49.0 ter klasifikacijsko točnost 60 %. Najboljših objavljenih rezultatov nismo dosegli, a obstaja še veliko možnosti za izboljšave.20172017-08-31 09:39:53Diplomsko delo/naloga94485sl