Zaznava in razpoznava steklenih objektov v delno nadzorovanem okolju

Turk, Tom (avtor), Perš, Janez (mentor), Mihelj, Matjaž (komentor)

V zadnjih letih smo videli mnogo uspešnih rešitev na področju strojnega vida, ki se ukvarjajo z zaznavanjem vsakdanjih objektov. Transparentni objekti imajo značilnosti, ki otežujejo njihovo zaznavanje, zato je delež rešitev s področja strojnega vida, ki obravnavajo transparentne objekte, manjši. Naše delo motivira integracija robotskih rešitev v realno laboratorijsko okolje, zato predstavimo sistem za zaznavanje transparentnih objektov. Ker smo izbrali pristop z globokim učenjem, sta ključni komponenti sistema priprava podatkov ter prilagoditev parametrov algoritma. V okviru dela najprej pripravimo učne podatke, ki ustrezajo slikam značilnih objektov laboratorijskega okolja; čašam, erlenmajericam, mikrotitrnim ploščam, petrijevkam ter bučkam. Ker smo pri delu prepoznali več načrtovalskih odločitev, za katere ob pregledu literature nismo našli priporočil, smo pripravili več različic učnih množic. Vrednotenje zadnjih sledi v eksperimentalnem segmentu dela. V nadaljevanju dela identificiramo parametre algoritma, ki najbolj prispevajo k pravilnosti napovedi. Prvi sklop rezultatov dokazuje, da pripravljen model nima težav pri zaznavanju sintetičnih upodobitev transparentnih objektov. Sledi ključni preizkus, ki potrjuje robustnost modela tudi pri vhodnih podatkih iz realne domene, kar nakazuje, da ima nevronska mreža tudi zmožnost generalizacije. Vrednotenje modela v kontekstu strojnega vida metrikam primarne (m)AP, PASCAL VOC (m)AP in precizne (m)AP priredi vrednosti 89,22 %, 96,48 % ter 95,52 %. Model ovrednotimo tudi v kontekstu robotske manipulacije; pri tem ocenimo, da bi z robotskim prijemalom, ki je odprto za 115,27 % napovedane velikosti objekta, uspešno prijeli 85,2 % ciljnih transparentnih objektov.

• Jezik: Slovenski jezik
• Ključne besede: transparentnost, sintetično tvorjenje slik, nevronske mreže, Mask R-CNN
• Vrsta gradiva: Magistrsko delo/naloga
• Organizacija: FE - Fakulteta za elektrotehniko
• Leto izida: 2021
• PID: 20.500.12556/RUL-131273
• COBISS.SI-ID: 78072835
• Datum objave v RUL: 24.09.2021

Sekundarni jezik

• Jezik: Angleški jezik
• Naslov: Detection and Recognition of Glass Objects in a Partially Controlled Environment

Izvleček

Recent years have seen plenty of studies that use machine vision as a means of everyday object detection. Transparent objects possess specific properties that make their detection challenging; it follows that fewer machine learning papers address transparent objects. Our work aims to enable the integration of robotics into a real laboratory environment. Therefore we introduce a transparent object detection system. As we base our method on deep learning, the key elements of our solution are data preparation and parameter tuning. First, the thesis aims to provide an image dataset emphasising transparent objects commonly found within laboratory environments; beakers, Erlenmeyer flasks, microtiter plates, Petri dishes and Florence flasks. We generate multiple datasets versions because we face difficult decisions at the dataset preparation stage, for which we found no preexisting related work. Dataset versions are evaluated in the experimental section of our work. Following on, we identify key parameters that affect model accuracy. Transparent object detection on synthetic domain datasets proves trivial for our model. Tests on a real domain dataset show the robustness of our model and prove its generalisation abilities. Our model’s performance is at first evaluated with machine vision metrics; primary (m)AP metric, PASCAL VOC (m)AP metric and precise (m)AP metric amount to 89,22 %, 96,48 % and 95,52 %, respectively. We also evaluate model's performance in the robotics context; we estimate that using a gripper, which is open at 115,27 % of inferred object's width, our system would be able to grasp 85,2 % of target transparent objects.

• Ključne besede: transparency, synthetic image generation, neural networks, Mask R-CNN