Zagotavljanje zanesljivega zaznavanja objektov v neugodnih vremenskih
razmerah, kot sta dež in sneg, ostaja velik izziv za vizualne senzorje v avtomobilskem
svetu. Te razmere lahko resno vplivajo na delovanje senzorjev, kar vodi
do zmanjšane natančnosti zaznavanja objektov in povečanega tveganja nesreč.
Ta magistrska naloga se osredotoča na izboljšanje zmogljivosti zaznavanja
objektov v naprednih sistemih za pomoč voznikom (ADAS) in sistemih za
avtonomno vožnjo (ADS) z vključevanjem slik sintetičnih vremenskih razmer v
proces učenja, da bi izboljšali zaznavanje objektov v teh pogojih. S pomočjo
generativnih modelov simuliramo učinke neugodnih vremenskih razmer na slike
vožnje tako v mestnem kot avtocestnem okolju. Glavni cilj je ustvariti obsežen
nabor sintetičnih vremenskih slik, ki lahko, ko so vključene v učni proces zaznavanja
objektov, izboljšajo robustnost modelov zaznavanja objektov v neugodnih
vremenskih razmerah.
Pregledali smo prejšnje raziskave na področju generativnih modelov za slike
in njihovih aplikacij pri simulaciji različnih vremenskih razmer. Obravnavali smo
metode, kot so generativni nasprotniki modeli, ter izpostavili potrebo po bolj
robustnih in natančnih metodah za simulacijo vremenskih razmer v mestnem in
avtocestnem okolju. Poleg pregleda generativnih modelov smo pregledali tudi
evalvacijske mere za kakovost generiranih slik ter prišli do zaključka, da trenutno
ne obstaja ena mera, ki nam pove, kako dobra je sintetična slika. Pregled literature
obsega tudi pregled metod zaznavanja objektov pri ADAS/ADS ter težave
vizualnih senzorjev pri neugodnih vremenskih razmerah.
V tretjem poglavju opisujemo uporabljene metode, ki vključujejo generativne
modele, zlasti GAN arhitekturo, za simulacijo učinkov dežja in snega na slike vožnje. Podrobno smo predstavili ozadje ter kriterijske funkcije modela QS-Attn,
ki omogoča natančno ustvarjanje vremenskih učinkov z uporabo pozornostnih
mehanizmov za izbiro najpomembnejših značilnosti slik.
Za treniranje QS-Attn modela potrebujemo podatke, in ker jih na trgu ne
dobimo na enostaven način, smo posneli svoje podatke vožnje. Razvili smo lastni
nabor podatkov, ki se imenuje pozicijsko-uparen nabor, ki vključuje slike vožnje
v različnih vremenskih razmerah, posnete na enakih lokacijah v suhem vremenu,
dežju in snegu. Ta nabor podatkov omogoča modelom, da se lažje naučijo razlik
med različnimi vremenskimi pogoji, ter nam olajša evalvacijo.
Peto poglavje opisuje rezultate QS-Attn modela. Vidimo, da z našim naborom
podatkov, ko je model natreniran, dobimo vizualno dobre rezultate. Kakovost
vseh slik izmerimo z v literaturi popularnimi merami, kot so FID in KID, obe
z različnimi verzijami luščenja značilk. Rezultate tudi kvalitativno primerjamo
z dejanskimi slikami dežja in snega. Model QS-Attn testiramo tudi na dodatnem
naboru podatkov, ki ni del originalnega, ter na slikah popolnoma izven
razpodelitve.
V šestem poglavju pokažemo, kako model za zaznavanje vozil, treniran samo
na slikah zajetih v suhem vremenu, deluje v dežju in snegu. Rezultate prikažemo
kvantitativno in kvalitativno. Ugotovitve so, da model, treniran samo na suhih
slikah, ne zadostuje izzivom, kot so dež in sneg, in ima resne probleme pri zaznavanju
objektov. Takšni modeli pogosto ne zaznajo vozil, ki so ravno pred kamero,
zaradi okoliščin, kot so vklopljene luči ali delna pokritost s snegom.
V sedmem poglavju preverimo, kaj se dogaja z modeli za zaznavanje objektov,
če v nabor podatkov za trening uporabimo prave slike, sintetične slike in
kombinacijo pravih in sintetičnih slik dežja ter snega. Izkazalo se je, da lahko s
tem znatno izboljšamo zaznavanje v obeh vremenskih razmerah. Modeli imajo
več pozitivnih zaznavanj in so splošno bolj robustni.
Naše ugotovitve kažejo, da vključitev sintetičnih vremenskih slik v učni proces
znatno izboljša zmogljivost modelov zaznavanja objektov, zaradi česar so bolj
odporni na neugodne vremenske razmere. Ta raziskava ne samo da naslavlja
kritično varnostno vprašanje v avtomobilski industriji, ampak tudi odpira pot za
prihodnje napredke na področju avtonomne vožnje.
|
