Globoko učenje za segmentacijo in klasifikacijo cestišča

Smole, Tim (author), Skočaj, Danijel (mentor)

Eden izmed problemov, s katerim se srečujejo vzdrževalci cestišč, je zahteva po rednem posodabljanju evidence o kvaliteti vozišč. Podatke o poškodbah trenutno beležijo ročno, kar pa je časovno zamudno in pogosto nekonsistentno. V nalogi smo s tem razlogom predstavili pristop k podobnemu problemu, kjer namesto poškodovanosti vozišča avtomatično določamo tip površine. Za reševanje tega problema smo uporabili klasifikacijsko umetno nevronsko mrežo, ki temelji na arhitekturi ResNet-50. Da pa bi izboljšali njeno uspešnost, smo v vhodne slike vkomponirali informacijo o položaju cestišča, pridobljeno s segmentacijsko mrežo U-Net. Pokazali smo, kako lahko v primeru segmentacije uporabimo informacijo o položaju robov cestišča in slikovnim elementom v neposredni bližini dodelimo večjo utež ter s tem usmerimo pozornost mreže v dele slike, kjer se napake najpogosteje nahajajo. Pokazali smo tudi, kako v primeru delno označenih podatkov uporabimo neoznačene dele slike, jim dodelimo nižjo utež in jih nato upoštevamo v času učenja. Primerjali smo tudi dva pristopa k usmerjanju pozornosti klasifikacijskih mrež. Prvi pristop uporablja maskiranje vhodne slike z ničelno vrednostjo, kjer je segmentacijska mreža detektirala ozadje, drugi pa temelji na razširitvi vhodne slike z izhodom segmentacijske mreže. Pokazali smo, da se uporaba informacije o položaju cestišča s pomočjo segmentacije obrestuje, saj se mera uspešnosti F1 pridobljena na testni zbirki poveča iz 0,947 na 0,971, v kolikor uporabimo slednji pristop.

• Language: Slovenian
• Keywords: nevronske mreže, segmentacija, klasifikacija, usmerjanje pozornosti, cestišča, računalniški vid
• Work type: Master's thesis/paper
• Organization: FRI - Faculty of Computer and Information Science
• Year: 2019
• PID: 20.500.12556/RUL-108736
• Publication date in RUL: 16.07.2019

Secondary language

• Language: English
• Title: Deep learning for road segmentation and classification

Abstract

One of the problems road holders are facing is maintaining a record of road's surface quality. They acquire a vast amount of image data and then assess the surface quality by manually inspecting those images, which is time consuming and often inconsistent. In this work we show how to tackle a similar problem of automatic recognition of road surface type. To solve this problem we use the artificial neural network for classification tasks based on ResNet-50 architecture. To boost it's performance we use the information of the road's position in the input image which is obtained with U-Net neural network for semantic segmentation. In case of segmentation we show how to emphasise pixels located near road's edges and focus the network's attention during training to the parts where errors are most frequent. We also consider coarsely annotated images and show how we can use unlabelled pixels assigning them lower weights during the training process. We compare two attention mechanisms for neural networks used for classification tasks. The first mechanism masks input images with zero values where segmentation network detects background. The second mechanism is based on extending the input image with an output of U-Net. We show that by using the second approach F1 score evaluated on the test dataset improves from 0.947 to 0.971.

• Keywords: neural networks, segmentation, classification, attention mechanism, roads, computer vision