Multimodal Representation Learning for 3D Model Retrieval

Čatar, Neli (avtor), Skočaj, Danijel (mentor), Miščič, Andrej (komentor), Vranješ, Luka (komentor)

Retrieving 3D models from large industrial repositories is a challenging problem, particularly when queries take the form of natural language descriptions or other 3D shapes. Existing approaches typically address text-to-3D and 3D-to-3D retrieval as separate tasks, limiting their practical utility in settings where both capabilities are required simultaneously. This thesis presents a unified multimodal retrieval framework that supports both query types within a single shared embedding space. 3D objects are represented as sets of greyscale rendered views, focusing on geometric shape rather than colour or texture. A joint training objective combines cross-modal contrastive learning for text-to-3D alignment with an auxiliary render-based objective for 3D-to-3D consistency. To support large-scale training, a dataset of 537,000 shape-annotated objects was constructed by automatically generating text descriptions from the Objaverse-XL dataset using the Qwen3 32B vision language model. The best-performing model utilised attention pooling, together with the debiased contrastive loss and a batch size of 80. The backbone was laion/CLIP-ViT-L-14-laion2B-s32B-b82K. On text-to-3D retrieval, the model achieved an R@20 of 0.7297, while on 3D-to-3D retrieval, it achieved an R@20 of 0.9968. The framework is further evaluated on ModelNet40 and Text2Shape, and an exploratory image-to-3D adapter is investigated as an extension toward image-query support.

• Jezik: Angleški jezik
• Ključne besede: 3D model retrieval, multimodal learning, contrastive learning, CLIP, multi-view rendering, joint embedding space, attention pooling, 3D representations
• Vrsta gradiva: Magistrsko delo
• Organizacija: FRI - Fakulteta za računalništvo in informatiko
• Leto izida: 2026
• PID: 20.500.12556/RUL-190189
• Datum objave v RUL: 23.10.2026

Sekundarni jezik

• Jezik: Slovenski jezik
• Naslov: Večmodalno učenje predstavitev za iskanje 3D modelov

Izvleček

Poizvedovanje po 3D-modelih v velikih industrijskih repozitorijih predstavlja zahteven problem, zlasti kadar so poizvedbe podane v obliki opisov v naravnem jeziku ali drugih 3D-oblik. Obstoječi pristopi poizvedovanje besedilo-v-3D in 3D-v-3D praviloma obravnavajo kot ločeni nalogi, kar omejuje njihovo uporabnost v okoljih, kjer sta hkrati potrebni obe zmožnosti. Magistrsko delo predstavlja enotno večmodalno ogrodje za poizvedovanje, ki podpira obe vrsti poizvedb znotraj skupnega vložitvenega prostora. 3D-objekti so predstavljeni kot množice sivinskih upodobitev iz različnih pogledov, pri čemer je poudarek na geometrijski obliki in ne na barvi ali teksturi. Učni cilj združuje medmodalno kontrastivno učenje za poravnavo predstavitev besedila in 3D-objektov ter pomožni cilj, temelječ na upodobitvah, za zagotavljanje konsistentnosti med 3D-objekti. Za podporo učenju v velikem obsegu je bila zgrajena podatkovna zbirka s 537 tisoč objekti, pri čemer so bili besedilni opisi samodejno ustvarjeni iz podatkovne zbirke Objaverse-XL z uporabo vizualno-jezikovnega modela Qwen3 32B. Najuspešnejši model uporablja pozornostno združevanje (attention pooling), razpristransko kontrastivno izgubo (debiased contrastive loss) in velikost paketa 80. Kot hrbtenični model je bil uporabljen laion/CLIP-ViT-L-14-laion2B-s32B-\b82K. Pri poizvedovanju besedilo-v-3D je model dosegel vrednost R@20 = 0,7297, pri poizvedovanju 3D-v-3D pa R@20 = 0,9968. Ogrodje je bilo dodatno ovrednoteno na podatkovnih zbirkah ModelNet40 in Text2Shape. Kot razširitev proti podpori slikovnim poizvedbam je bil raziskan tudi eksperimentalni adapter za poizvedovanje slika-v-3D.

• Ključne besede: poizvedovanje po 3D-modelih, večmodalno učenje, kontrastivno učenje, CLIP, upodabljanje iz več pogledov, skupni vložitveni prostor, pozornostno združevanje, 3D-predstavitve