UPORABA RAČUNALNIŠKEGA VIDA BREZPILOTNEGA LETALNIKA ZA ODKRIVANJE OLJNIH MADEŽEV

Starc, Andrej (avtor), Grm, Aleksander (mentor)

Pomorske nesreče, katere vključujejo izlitje oljnih tekočin, predstavljajo grožnjo okolju že od samega začetka pomorske industrije. Že najmanjše izlitje oljnih tekočin lahko močno ogrozi življenjski prostor, ter lahko uniči življenje tistih, kateri so odvisni od njega. Večja nenamerna izlitja in protizakoniti izlivi oljnih tekočin, kot so as Exxon Valdez, Deepwater Horizon, Sea Empress, afera namernega in protizakonitega izlivanja oljnih tekočin podjetja Irika Shipping, so bili povod k strožjim regulacijami v industriji in napredovanju tehnik nadzorovanja in spremljanja oljnih madežev z namenom boljše zaščite naravnega okolja. Sodobne tehnike nadzora in spremljanja izlitja oljnih tekočin sestavljajo napredne rešitve daljinskega zaznavanja, katere uporabljajo pasivne in aktivne senzorje za zaznavo svetlobnega snopa odbitega od površine. Aktivni mikrovalovni senzorji, kot je radar s sintetično zaslonko, so pogosto uporabljeni na satelitih in zemeljskih postajah, ki oddajajo svetlobo proti vodni gladini, ter opazujejo ta isti odbiti snop. Pasivni senzorji so finančno bolj dostopna tehnologija, kateri sestavljajo običajne kamere, ter ostale specialne. Taki senzorji ne oddajajo svetlobe, ampak le zaznavajo svetlobo (infrardečo, vidno, termo infrardečo, mikrovalovno), katera se je odbila od površine zaradi drugega vira svetloba kot je sonce. Magistrska naloga se posveča vprašanju o možnosti odkrivanja oljnih madežev s pasivnim senzorjem (običajna kamera), katera je pritrjena na brezpilotni letalnik z istočasno uporabo umetne inteligence. Po tej začetni analizi se je pojavilo vprašanje v zvezi s kakovostjo nabora slik za treniranje nevronske mreže, ko je bilo potrebno prenesti celoten nabor slik oljnih madežev iz spleta, vključno z vprašanjem ali je predhodno natrenirana nevronska mreža primerna za soočenje s problemom o ustreznemu zaznavanju nepravilnih oblik oljnih madežev in različnih odtenkov morja. Eksperimentalno postavitev predstavlja tovarniško sestavljen brezpilotni letalnik DJI Mavic 2 Enterprise Dual, RGB kamera, katera je del letalnika, ter algoritmi računalniškega vida. Odločeno je bilo, da se modele umetne inteligence nauči prepoznati tri razrede predmetov: čisto morje, oljni madež in pomol. Uporabljena sta bila dva različna algoritma: AlexNet za prepoznavo slik in YOLOv7 za odkrivanje predmetov. Oba algoritma sta bila natrenirana na enakemu naboru slik, kateri je bil delno ustvarjen v Luki Koper in delno prenešen iz spleta. Nabor slik je osredotočen na slike posnete v optimalnih vremenskih pogojih, kjer je morje bilo mirno in nebo jasno. Posledično treniranje nevronskih mrež na takemu naboru slik doprinese nekaj omejitev, kot je zaznavanje temnih oljnih madežev v temnejšemu okolju, ter zaznavanje oljnih madežev v primeru razburkanega morja, kar ni zaželeno. Za poenostavitev problema o vzpostavitvi sistema, kateri bi bil sposoben prepoznati oljne madeže v katerem koli okolju, je bil namesto tega predstavljen osnoven sistem, kateri je sposoben zaznati oljne madeže le v idealnih pogojih in katerega se lahko kasneje bolj temeljito razišče, ter nadgradi. Magistrska naloga dokazuje, da se oljni madeži lahko odlično identificirajo v izbranem okolju z uporabo vsakdanje kamere pritrjene na brezpilotni letalnik in predhodno natrenirane nevronske mreže. Zmogljivosti klasifikacije objektov obeh algoritmov so izjemne (približno 1%) medtem, ko je aritmetična sredina natančnosti in preklica presegla 80%. Zadovoljivo natrenirani modeli so primerni za zaznavo oljnih madežev v živo z uporabo RGB kamere medtem, ko edina pomanjkljivost sistema je uporaba le tega v izključno svetlem delu dneva in obvezna izognitev slabemu vremenu (nad beauforjem 5).

• Jezik: Slovenski jezik
• Ključne besede: Računalniški vid, umetna inteligenca, konvolucijske nevronske mreže, brezpilotni letalnik, oljni madeži, detekcija
• Vrsta gradiva: Magistrsko delo/naloga
• Organizacija: FPP - Fakulteta za pomorstvo in promet
• Leto izida: 2022
• PID: 20.500.12556/RUL-143339
• Datum objave v RUL: 15.12.2022

Sekundarni jezik

• Jezik: Angleški jezik
• Naslov: THE USE OF COMPUTER VISION ON AERIAL DRONE IN OIL SPILLS DETECTION

Izvleček

Maritime accidents involving oil spills have been a threat to the environment since the early beginnings of the maritime industry. Even the smallest of spills can seriously threaten natural habitats devastating the lives of those that depend on them. Major oil spills and illegal oil discharges, such as Exxon Valdez, Deepwater Horizon, Sea Empress, Irika Shipping illegal oil discharge fiasco, signified to political decision makers and industry authorities that stricter industry regulations and advancements in oil spill monitoring and surveying techniques were required to protect the natural environment. Modern oil spill surveilling and monitoring techniques consist of advanced remote sensing solutions using passive or active image sensors to detect the light beam reflected from the sea surface. Active microwave sensors like Synthetic Aperture Radar (SAR) are widely used on satellites and ground stations that emit light toward the sea and observe the reflected beam. Passive sensors, the more financially accessible technology, can consist of regular or other specialized cameras. Those sensors do not emit light but rather detect the light (infrared, visual specter, thermal infrared, microwave) reflected from other light sources such as the sun. This thesis explores the question if it is possible to detect oil spills with a passive RGB sensor (normal camera) attached to a drone while utilizing artificial intelligence (AI). Succeeding this initial analysis, the question regarding the quality of the dataset when the dataset containing images of various oil spills had to be downloaded from the internet, arose as well as whether a pretrained neural network could adequately solve our problem of adequately identifying irregular shapes and colors of the oil spills, and inconsistency of sea shades. The experimental setup consisted of a factory-made drone DJI Mavic 2 Enterprise Dual, its original camera, and computer vision algorithms. It was decided to train AI models to recognize three different classes: clear sea, oil spill, and pier. Two different computer vision algorithms were used: AlexNet for image recognition and YOLOv7 for object detection. Both algorithms were trained on the same dataset created in Port of Koper including the dataset of oil spill pictures retrieved from the internet. The dataset focused on images taken in optimal weather conditions where the sea was calm, and sky was clear. Consequently, training a neural network on such a dataset brings many limitations such as detecting dark oil spills in the darker environments and detecting oil spills in rough seas, which is not desired. To simply the problem of establishing a system that would be able to detect oil spills in any weather conditions, I proposed the basic system of detecting oil spills in limited weather conditions, which can be further researched and upgraded. This thesis proves that oil spills can be identified excellently in the selected environment using a regular camera attached to the drone and pretrained neural networks. Object classification capabilities of both algorithms are extraordinary (approx. 1%), while the harmonic mean of precision and recall surpassed 80%. Adequately trained models can be used for real-time oil spill detection using a RGB camera while the only limitations being the use of the system in a bright part of the day only and avoiding rough weather (above Beaufort 5).

• Ključne besede: Computer vision, artificial intelligence, convolutional neural network, drone, oil spill, detection