20.500.12556/RUL-167773 Uporaba globokih modelov za iskanje po zbirki slik na podlagi skic Sketch-based image retrieval using deep models V diplomskem delu obravnavamo problem iskanja fotografij na podlagi skic. Predstavimo nov model, ki omogoča iskanje fotografij kompleksnih prizorov. Predlagani model temelji na zanesljivem in preprostem pristopu, zasnovanem po principu siamske mreže. Kot kodirnik uporabimo sodobno konvolucijsko arhitekturo ConvNeXt. Klasično izgubno funkcijo trojic nadomestimo z naprednejšo funkcijo InfoNCE. Model ovrednotimo na najsodobnejši in največji razpoložljivi podatkovni množici za iskanje fotografij prizorov, FSCOCO. Predlagani model preseže rezultate izhodiščnega modela za skoraj 30 odstotkov. Primerjamo ga tudi z modeli za multimodalno iskanje, ki jih predlagani model premaga za več kot 20 odstotkov. Poleg tega izvedemo dodatna ovrednotenja, ki dodatno potrjujejo njegovo robustnost. Opravimo tudi študijo z uporabniki, v kateri analiziramo primere neuspešnega delovanja modela ter izpostavimo izzive, povezane s podatkovno množico, s katerimi se model sooča. In this thesis, we address the problem of sketch based image retrieval. We present a novel model that enables fine-grained scene-level retrieval. The proposed model is based on a reliable and straightforward approach, designed following the principles of a Siamese network. As an encoder, we use the modern convolutional architecture ConvNeXt. The traditional triplet loss function is replaced with the more advanced InfoNCE loss function. We evaluate the model on FSCOCO, the latest and largest available dataset for scene-level image retrieval. The proposed model outperforms the baseline model by nearly 30 percent. We also compare it with multimodal retrieval models, surpassing them by more than 20 percent. Additionally, we conduct evaluations that further confirm its robustness. Furthermore, we perform a user study in which we analyze instances of the model's failures and highlight challenges related to the dataset that the model encounters. SBIR skice ConvNeXt FSCOCO InfoNCE računalniški vid konvolucijske nevronske mreže SBIR sketch ConvNeXt FSCOCO InfoNCE computer vision convolutional neural networks true false false Slovenski jezik Angleški jezik Diplomsko delo/naloga 2025-03-11 15:25:01 2025-03-11 15:25:10 2025-03-28 06:48:52 0000-00-00 00:00:00 2025 0 0 0000-00-00 NiDoloceno NiDoloceno NiDoloceno 0000-00-00 0000-00-00 0000-00-00 37505 230548483 Demic_Emil_-_Uporaba_globokih_modelov_za_iskanje_po_zbirki_slik_na_podlagi_skic.pdf Demic_Emil_-_Uporaba_globokih_modelov_za_iskanje_po_zbirki_slik_na_podlagi_skic.pdf 1 932EAC6B8CFAE9ABC01D10F303D9AA0A 3ba2c4db56408c1e42c45b3933166d82df3c0f3f76ef17aaaf73f92fe1799879 ab3c54e6-fe83-11ef-b232-0050569b8976 https://repozitorij.uni-lj.si/Dokument.php?lang=slv&id=200534 Fakulteta za računalništvo in informatiko 0 0 0