20.500.12556/RUL-190189 Multimodal Representation Learning for 3D Model Retrieval Večmodalno učenje predstavitev za iskanje 3D modelov Retrieving 3D models from large industrial repositories is a challenging problem, particularly when queries take the form of natural language descriptions or other 3D shapes. Existing approaches typically address text-to-3D and 3D-to-3D retrieval as separate tasks, limiting their practical utility in settings where both capabilities are required simultaneously. This thesis presents a unified multimodal retrieval framework that supports both query types within a single shared embedding space. 3D objects are represented as sets of greyscale rendered views, focusing on geometric shape rather than colour or texture. A joint training objective combines cross-modal contrastive learning for text-to-3D alignment with an auxiliary render-based objective for 3D-to-3D consistency. To support large-scale training, a dataset of 537,000 shape-annotated objects was constructed by automatically generating text descriptions from the Objaverse-XL dataset using the Qwen3 32B vision language model. The best-performing model utilised attention pooling, together with the debiased contrastive loss and a batch size of 80. The backbone was laion/CLIP-ViT-L-14-laion2B-s32B-b82K. On text-to-3D retrieval, the model achieved an R@20 of 0.7297, while on 3D-to-3D retrieval, it achieved an R@20 of 0.9968. The framework is further evaluated on ModelNet40 and Text2Shape, and an exploratory image-to-3D adapter is investigated as an extension toward image-query support. Poizvedovanje po 3D-modelih v velikih industrijskih repozitorijih predstavlja zahteven problem, zlasti kadar so poizvedbe podane v obliki opisov v naravnem jeziku ali drugih 3D-oblik. Obstoječi pristopi poizvedovanje besedilo-v-3D in 3D-v-3D praviloma obravnavajo kot ločeni nalogi, kar omejuje njihovo uporabnost v okoljih, kjer sta hkrati potrebni obe zmožnosti. Magistrsko delo predstavlja enotno večmodalno ogrodje za poizvedovanje, ki podpira obe vrsti poizvedb znotraj skupnega vložitvenega prostora. 3D-objekti so predstavljeni kot množice sivinskih upodobitev iz različnih pogledov, pri čemer je poudarek na geometrijski obliki in ne na barvi ali teksturi. Učni cilj združuje medmodalno kontrastivno učenje za poravnavo predstavitev besedila in 3D-objektov ter pomožni cilj, temelječ na upodobitvah, za zagotavljanje konsistentnosti med 3D-objekti. Za podporo učenju v velikem obsegu je bila zgrajena podatkovna zbirka s 537 tisoč objekti, pri čemer so bili besedilni opisi samodejno ustvarjeni iz podatkovne zbirke Objaverse-XL z uporabo vizualno-jezikovnega modela Qwen3 32B. Najuspešnejši model uporablja pozornostno združevanje (attention pooling), razpristransko kontrastivno izgubo (debiased contrastive loss) in velikost paketa 80. Kot hrbtenični model je bil uporabljen laion/CLIP-ViT-L-14-laion2B-s32B-\b82K. Pri poizvedovanju besedilo-v-3D je model dosegel vrednost R@20 = 0,7297, pri poizvedovanju 3D-v-3D pa R@20 = 0,9968. Ogrodje je bilo dodatno ovrednoteno na podatkovnih zbirkah ModelNet40 in Text2Shape. Kot razširitev proti podpori slikovnim poizvedbam je bil raziskan tudi eksperimentalni adapter za poizvedovanje slika-v-3D. 3D model retrieval multimodal learning contrastive learning CLIP multi-view rendering joint embedding space attention pooling 3D representations poizvedovanje po 3D-modelih večmodalno učenje kontrastivno učenje CLIP upodabljanje iz več pogledov skupni vložitveni prostor pozornostno združevanje 3D-predstavitve true false false Angleški jezik Slovenski jezik Magistrsko delo 2026-10-23 17:15:04 2026-10-23 17:15:17 2026-10-24 04:37:13 0000-00-00 00:00:00 2026 0 0 0000-00-00 NiDoloceno NiDoloceno NiDoloceno 0000-00-00 0000-00-00 0000-00-00 1970-01-01 38522 Catar_Neli_-_Vecmodalno_ucenje_predstavitev_za_iskanje_3D_modelov.pdf Catar_Neli_-_Vecmodalno_ucenje_predstavitev_za_iskanje_3D_modelov.pdf 1 F4A092F20B2C640840F0A52A372509C5 8806753c67a0c8adfbd1e9351ccae8d3ce28160bd0d3ee0087f92e263bb57bc7 8e8aa096-cef4-11f1-aea2-0050569b8976 https://repozitorij.uni-lj.si/Dokument.php?lang=slv&id=251393 Fakulteta za računalništvo in informatiko 0 0 0