Enhancing Object Detection in Advanced Driver Assistance Systems Using Synthetic Weather Conditions

MUJIĆ, EMIR (avtor), Perš, Janez (mentor), Štern, Darko (komentor)

Ensuring reliable object detection under adverse weather conditions, such as rain and snow, remains a significant challenge for visual sensing in the automotive world. These conditions can severely impact the performance of sensors, leading to reduced accuracy in object detection and an increased risk of accidents. This thesis focuses on enhancing object detection capabilities in ADAS/ADS by incorporating synthetic weather condition images into the training process in order to improve object detection in those conditions. Utilizing generative models we simulate the effects of adversarial weather on driving images in both city and highway environments. The primary objective is to create a comprehensive dataset of synthetic weather images, which, when integrated into the training pipeline for object detection, can improve the robustness of object detection models under adverse weather conditions. Our findings demonstrate that integrating synthetic weather images into the training process significantly enhances the performance of object detection models, making them more resilient to adverse weather conditions. This research not only addresses a critical safety concern in the automotive industry but also paves the way for future advancements in the field of autonomous driving.

• Jezik: Angleški jezik
• Ključne besede: object detection, generative models, GAN, QS-Attn, ADAS, ADS, synthetic weather conditions, autonomous vehicles
• Vrsta gradiva: Magistrsko delo/naloga
• Organizacija: FE - Fakulteta za elektrotehniko
• Leto izida: 2024
• PID: 20.500.12556/RUL-159825
• COBISS.SI-ID: 203268867
• Datum objave v RUL: 26.07.2024

Sekundarni jezik

• Jezik: Slovenski jezik
• Naslov: Izboljšanje zaznavanja objektov v naprednih sistemih za pomoč voznikom z uporabo sintetičnih vremenskih razmer

Izvleček

Zagotavljanje zanesljivega zaznavanja objektov v neugodnih vremenskih razmerah, kot sta dež in sneg, ostaja velik izziv za vizualne senzorje v avtomobilskem svetu. Te razmere lahko resno vplivajo na delovanje senzorjev, kar vodi do zmanjšane natančnosti zaznavanja objektov in povečanega tveganja nesreč. Ta magistrska naloga se osredotoča na izboljšanje zmogljivosti zaznavanja objektov v naprednih sistemih za pomoč voznikom (ADAS) in sistemih za avtonomno vožnjo (ADS) z vključevanjem slik sintetičnih vremenskih razmer v proces učenja, da bi izboljšali zaznavanje objektov v teh pogojih. S pomočjo generativnih modelov simuliramo učinke neugodnih vremenskih razmer na slike vožnje tako v mestnem kot avtocestnem okolju. Glavni cilj je ustvariti obsežen nabor sintetičnih vremenskih slik, ki lahko, ko so vključene v učni proces zaznavanja objektov, izboljšajo robustnost modelov zaznavanja objektov v neugodnih vremenskih razmerah. Pregledali smo prejšnje raziskave na področju generativnih modelov za slike in njihovih aplikacij pri simulaciji različnih vremenskih razmer. Obravnavali smo metode, kot so generativni nasprotniki modeli, ter izpostavili potrebo po bolj robustnih in natančnih metodah za simulacijo vremenskih razmer v mestnem in avtocestnem okolju. Poleg pregleda generativnih modelov smo pregledali tudi evalvacijske mere za kakovost generiranih slik ter prišli do zaključka, da trenutno ne obstaja ena mera, ki nam pove, kako dobra je sintetična slika. Pregled literature obsega tudi pregled metod zaznavanja objektov pri ADAS/ADS ter težave vizualnih senzorjev pri neugodnih vremenskih razmerah. V tretjem poglavju opisujemo uporabljene metode, ki vključujejo generativne modele, zlasti GAN arhitekturo, za simulacijo učinkov dežja in snega na slike vožnje. Podrobno smo predstavili ozadje ter kriterijske funkcije modela QS-Attn, ki omogoča natančno ustvarjanje vremenskih učinkov z uporabo pozornostnih mehanizmov za izbiro najpomembnejših značilnosti slik. Za treniranje QS-Attn modela potrebujemo podatke, in ker jih na trgu ne dobimo na enostaven način, smo posneli svoje podatke vožnje. Razvili smo lastni nabor podatkov, ki se imenuje pozicijsko-uparen nabor, ki vključuje slike vožnje v različnih vremenskih razmerah, posnete na enakih lokacijah v suhem vremenu, dežju in snegu. Ta nabor podatkov omogoča modelom, da se lažje naučijo razlik med različnimi vremenskimi pogoji, ter nam olajša evalvacijo. Peto poglavje opisuje rezultate QS-Attn modela. Vidimo, da z našim naborom podatkov, ko je model natreniran, dobimo vizualno dobre rezultate. Kakovost vseh slik izmerimo z v literaturi popularnimi merami, kot so FID in KID, obe z različnimi verzijami luščenja značilk. Rezultate tudi kvalitativno primerjamo z dejanskimi slikami dežja in snega. Model QS-Attn testiramo tudi na dodatnem naboru podatkov, ki ni del originalnega, ter na slikah popolnoma izven razpodelitve. V šestem poglavju pokažemo, kako model za zaznavanje vozil, treniran samo na slikah zajetih v suhem vremenu, deluje v dežju in snegu. Rezultate prikažemo kvantitativno in kvalitativno. Ugotovitve so, da model, treniran samo na suhih slikah, ne zadostuje izzivom, kot so dež in sneg, in ima resne probleme pri zaznavanju objektov. Takšni modeli pogosto ne zaznajo vozil, ki so ravno pred kamero, zaradi okoliščin, kot so vklopljene luči ali delna pokritost s snegom. V sedmem poglavju preverimo, kaj se dogaja z modeli za zaznavanje objektov, če v nabor podatkov za trening uporabimo prave slike, sintetične slike in kombinacijo pravih in sintetičnih slik dežja ter snega. Izkazalo se je, da lahko s tem znatno izboljšamo zaznavanje v obeh vremenskih razmerah. Modeli imajo več pozitivnih zaznavanj in so splošno bolj robustni. Naše ugotovitve kažejo, da vključitev sintetičnih vremenskih slik v učni proces znatno izboljša zmogljivost modelov zaznavanja objektov, zaradi česar so bolj odporni na neugodne vremenske razmere. Ta raziskava ne samo da naslavlja kritično varnostno vprašanje v avtomobilski industriji, ampak tudi odpira pot za prihodnje napredke na področju avtonomne vožnje.

• Ključne besede: zaznavanje objektov, generativni modeli, GAN, QS-Attn, napredni sistemi za pomoč voznikom, sistemi za avtonomno vožnjo, sintetične vremenske razmere, avtonomna vozila