Human-Perception Enhanced Deepfake Detector

Hrvatič, Anja (avtor), Peer, Peter (mentor), Batagelj, Borut (komentor)

The main challenge in deepfake detection is poor generalization to new and evolving manipulation methods. This thesis addresses this by integrating human visual perceptual cues as auxiliary supervision to guide more robust feature learning. To support this, a dataset combining Self-Blended Images (SBIs) with crowdsourced saliency maps and categorical inconsistency annotations was created. An EfficientNet-based multi-task model is trained to jointly perform deepfake classification and perception-driven tasks. Experiments on multiple benchmark datasets show that the model with a consecutive saliency map decoder trained on our dataset generalizes better than baseline detectors, indicating that localized human attention helps the network focus on stable, perceptually meaningful cues rather than method-specific artifacts.

• Jezik: Angleški jezik
• Ključne besede: Deepfakes, deepfake detection, human perception, visual forensics
• Vrsta gradiva: Magistrsko delo/naloga
• Organizacija: FRI - Fakulteta za računalništvo in informatiko
• Leto izida: 2025
• PID: 20.500.12556/RUL-177760
• Datum objave v RUL: 06.01.2026

Sekundarni jezik

• Jezik: Slovenski jezik
• Naslov: S človeško percepcijo podkrepljen razpoznavalnik globokih ponaredkov

Izvleček

Glavni izziv pri zaznavanju globoko ponarejenih video vsebin je slaba generalizacija na nove in razvijajoče se metode manipulacij. To delo težavo naslavlja z vpeljavo človeške percepcije kot dodatne informacijo za usmerjanje učenja. Za ta namen smo pripravili neodvisno podatkovno zbirko, ki združuje sintetično ustvarjene ponaredke slik obrazov, generirane z metodo SBI. Podatkovna zbirka je bila razširjena s podatki človeške percepcije slik vključno z mapami intenzivnosti pomembnih regij ter tipi nepravilnosti, značilnimi za globoke ponaredke. Model na osnovi nevronske mreže EfficientNet je treniran kot večopravilni model za hkratno izvajanje klasifikacije globokih ponaredkov in nalog, ki temeljijo na človeški percepciji. Eksperimenti na več neodvisnih referenčnih podatkovnih zbirkah kažejo, da model z zaporednim dekoderjem map intenzivnosti naučen na naši podatkovni zbirki bolje posplošuje kot osnovni razpoznavalniki. Lokalizirana človeška pozornost pomaga nevronski mreži, da se osredotoči na perceptivno pomembne značilke namesto na nepravilnosti značilne za metodo, s katero je bila vsebina generirana.

• Ključne besede: Globoki ponaredki, zaznavanje globokih ponaredkov, človeško zaznavanje, digitalna forenzika