20.500.12556/RUL-175884 Vizualizacija zgodb z generativnimi modeli Visualization of Stories with Generative Models Magistrska naloga obravnava problem vizualizacije zgodb z uporabo generativnih modelov, kjer smo se osredotočili na izboljšanje konsistentnosti likov in kompozicije prizorov. Razvili smo dvofazni sistem. Prva faza transformira besedilo v strukturirane opise prizorov in profile likov. Druga faza pa izvaja vizualizacijo z difuzijskim modelom FLUX.1-dev, podprtim s tehnologijami LoRA za prilagajanje likov, MV-Adapter za generacijo večpoglednih slik, Grounding DINO za detekcijo in SAM za segmentacijo. Sistem smo evalvirali na podatkovni množici PororoSV in zgodbi Pepelka s človeško evalvacijo metrik vizualne kakovosti, konsistentnosti, ustreznosti in ozadja. Rezultati kažejo, da naš pristop presega model Storydall-e na podatkovni množici PororoSV, zlasti v kakovosti in konsistentnosti, vendar je časovno zahteven in omejen pri več kot štirih likih na prizor. Pristop izboljšuje nadzor nad vizualizacijo, vendar zahteva optimizacijo za praktično uporabo ter dodatne raziskave za avtomatizacijo sistema. This master’s thesis addresses the challenge of story visualization using generative models, focusing on improving character consistency and scene composition. We developed a two-phase system. The first phase transforms text into structured scene descriptions and character profiles. The second phase performs visualization with the FLUX.1-dev diffusion model, supported by LoRA for character consistency, MV-Adapter for multi-view image generation, Grounding DINO for detection, and SAM for segmentation. The system was evaluated on the PororoSV dataset and the Cinderella story through human evaluation of visual quality, consistency, relevance, and background metrics. Results show that our approach outperforms the Storydall-e model on PororoSV dataset, particularly in quality and consistency, but is computationally intensive and limited for more than four characters per scene. The method enhances control over visualization but requires optimization for practical use and further research to automate the system. vizualizacija zgodb LoRA FLUX.1-dev difuzijski modeli PororoSV MV-Adapter SAM Grounding DINO story visualization LoRA FLUX.1-dev diffusion models PororoSV MV-Adapter SAM Grounding DINO true false false Slovenski jezik Angleški jezik Magistrsko delo/naloga 2025-11-12 15:05:02 2025-11-12 15:05:10 2025-12-16 03:44:32 0000-00-00 00:00:00 2025 0 0 0000-00-00 NiDoloceno NiDoloceno NiDoloceno 0000-00-00 0000-00-00 0000-00-00 37814 258386947 Music_Nejc_-_Vizualizacija_zgodb_z_generativnimi_modeli.pdf Music_Nejc_-_Vizualizacija_zgodb_z_generativnimi_modeli.pdf 1 A2134396053F6B66F22D2183C817C059 fd956db1d855066bb2153adfa5a5a91389b5a44ff6b0f9c50210789ac1ef004f 4563ca8d-bfd0-11f0-9328-0050569b8976 https://repozitorij.uni-lj.si/Dokument.php?lang=slv&id=221820 Fakulteta za računalništvo in informatiko 0 0 0