20.500.12556/RUL-177760 Human-Perception Enhanced Deepfake Detector S človeško percepcijo podkrepljen razpoznavalnik globokih ponaredkov The main challenge in deepfake detection is poor generalization to new and evolving manipulation methods. This thesis addresses this by integrating human visual perceptual cues as auxiliary supervision to guide more robust feature learning. To support this, a dataset combining Self-Blended Images (SBIs) with crowdsourced saliency maps and categorical inconsistency annotations was created. An EfficientNet-based multi-task model is trained to jointly perform deepfake classification and perception-driven tasks. Experiments on multiple benchmark datasets show that the model with a consecutive saliency map decoder trained on our dataset generalizes better than baseline detectors, indicating that localized human attention helps the network focus on stable, perceptually meaningful cues rather than method-specific artifacts. Glavni izziv pri zaznavanju globoko ponarejenih video vsebin je slaba generalizacija na nove in razvijajoče se metode manipulacij. To delo težavo naslavlja z vpeljavo človeške percepcije kot dodatne informacijo za usmerjanje učenja. Za ta namen smo pripravili neodvisno podatkovno zbirko, ki združuje sintetično ustvarjene ponaredke slik obrazov, generirane z metodo SBI. Podatkovna zbirka je bila razširjena s podatki človeške percepcije slik vključno z mapami intenzivnosti pomembnih regij ter tipi nepravilnosti, značilnimi za globoke ponaredke. Model na osnovi nevronske mreže EfficientNet je treniran kot večopravilni model za hkratno izvajanje klasifikacije globokih ponaredkov in nalog, ki temeljijo na človeški percepciji. Eksperimenti na več neodvisnih referenčnih podatkovnih zbirkah kažejo, da model z zaporednim dekoderjem map intenzivnosti naučen na naši podatkovni zbirki bolje posplošuje kot osnovni razpoznavalniki. Lokalizirana človeška pozornost pomaga nevronski mreži, da se osredotoči na perceptivno pomembne značilke namesto na nepravilnosti značilne za metodo, s katero je bila vsebina generirana. Deepfakes deepfake detection human perception visual forensics Globoki ponaredki zaznavanje globokih ponaredkov človeško zaznavanje digitalna forenzika true false false Angleški jezik Slovenski jezik Magistrsko delo/naloga 2026-01-06 14:45:02 2026-01-06 14:45:11 2026-07-02 10:05:13 0000-00-00 00:00:00 2025 0 0 0000-00-00 NiDoloceno NiDoloceno NiDoloceno 0000-00-00 0000-00-00 0000-00-00 37888 283364099 Hrvatic_Anja_-_S_clovesko_percepcijo_podkrepljen_razpoznavalnik_globokih_ponaredkov.pdf Hrvatic_Anja_-_S_clovesko_percepcijo_podkrepljen_razpoznavalnik_globokih_ponaredkov.pdf 1 C063876971B34900BD98BD43C6586A21 0222499ab01234edf9f8e66dc049776490b3a9a33f99d4df733944e150f5da48 ef3004a6-eb05-11f0-bf92-0050569b8976 https://repozitorij.uni-lj.si/Dokument.php?lang=slv&id=225055 Fakulteta za računalništvo in informatiko 0 0 0