20.500.12556/RUL-165194 Panoptična segmentacijska metoda za detekcijo ovir v vodnem okolju A panoptic segmentation method for obstacle detection in maritime environment Panoptična segmentacija je pomemben del razvoja vodnih avtonomnih plovil, saj z njo pridobimo podrobne informacije o dinamičnih ovirah. Pri segmentaciji vodnega okolja pa prevladuje uporaba semantičnih segmentacijskih metod brez panoptične segmentacije. V delu ta problem naslovimo in predlagamo novo panoptično segmentacijsko metodo PSAM, ki temelji na agnostični segmentacijski metodi SAM. Za napovedovanje instančne segmentacije metodi SAM podamo očrtane okvirje, napovedane z metodo YOLOv7. Za semantično segmentacijo v arhitekturi metode SAM razvijemo novo konvolucijsko glavo, pri kateri uporabimo tudi preskočne povezave s kodirnikom slik SAM. PSAM dosega izboljšane rezultate tako panoptične kot tudi semantične segmentacije. Za dinamične ovire doseže 31,3 % višjo kvaliteto razpoznavanja RQ od najboljše panoptične metode Mask2Former, skupna kvaliteta razpoznavanja dinamičnih ovir in neštevnih območij pa je izboljšana za 12,6 %. Zaradi izboljšane kvalitete razpoznavanja metoda doseže 10,8 % višjo panoptično kvaliteto PQ. PSAM pri semantični segmentaciji v primerjavi z najboljšo metodo KNet za območja dinamičnih ovir doseže 10 % višjo natančnost in 1,5 % višji priklic. S tem se izboljša tudi vrednost F1, ki je višja za 6 %. Panoptic segmentation is an important part of developing autonomous surface vehicles, providing detailed information about dynamic obstacles. For the segmentation of the maritime environment, however, the use of semantic segmentation methods without panoptic segmentation prevails. In this thesis, we address this problem and propose a new panoptic segmentation method PSAM based on the agnostic segmentation method SAM. For instance segmentation, we prompt SAM with bounding boxes, predicted by YOLOv7. For semantic segmentation, we develop a new convolutional head in the SAM architecture, where we also add skip connections to the SAM image encoder. PSAM achieves improved results in both panoptic and semantic segmentation. For dynamic obstacles, it achieves 31.3% higher recognition quality RQ than the best panoptic method Mask2Former, and the overall RQ of things and stuff categories is improved by 12.6%. With improved recognition quality, the method achieves a 10.8% higher panoptic quality PQ. In semantic segmentation, PSAM achieves 10% higher precision and 1.5% higher recall for dynamic obstacle regions, compared to the best method KNet. This also improves the F1 score, which is higher by 6%. računalniški vid panoptična segmentacija detekcija ovir avtonomna vozila computer vision panoptic segmentation obstacle detection autonomous vehicles true false false Slovenski jezik Angleški jezik Magistrsko delo/naloga 2024-11-26 14:40:02 2024-11-26 14:40:05 2024-12-06 09:03:09 0000-00-00 00:00:00 2024 0 0 0000-00-00 NiDoloceno NiDoloceno NiDoloceno 0000-00-00 0000-00-00 0000-00-00 37113 217937411 Novak_Gregor_-_Panopticna_segmentacijska_metoda_za_detekcijo_ovir_v_vodnem_okolju.pdf Novak_Gregor_-_Panopticna_segmentacijska_metoda_za_detekcijo_ovir_v_vodnem_okolju.pdf 1 E14A465860D655BA7790DD72E725FED7 e5e0c87e5726e6503201ce4f616ccd238c3690e23e3684dd5b060a3bf03593ed 8982508b-abfb-11ef-b232-0050569b8976 https://repozitorij.uni-lj.si/Dokument.php?lang=slv&id=196212 Fakulteta za računalništvo in informatiko 0 0 0