Kmetijstvo je znano kot delovno intenzivna industrija. Ročno delo predstavlja pomemben delež proizvodnih stroškov. Zato je eden od načinov za njegovo zmanjšanje uvedba robotov za obiranje, ki nadomestijo ročno obiranje sadja ali zelenjave. Roboti za obiranje morajo biti opremljeni z sistemom strojnega vida, ki jim omogoča zaznavanje zrelega sadja. Za zaznavanje in ocenjevanje zrelosti potrebujemo natančno segmentacijo plodov po slikovnih elementih. Za to se kot najprimernejše izkažejo konvolucijske nevronske mreže različnih arhitektur, kot na primer Mask R-CNN.
Vizualna podoba je glavni vir informacij o kakovosti sadja. Zato spremljanje rasti plodov zagotavlja informacije, ki kmetom pomagajo pri upravljanju potreb po virih in odkrivanju anomalij pri rasti ali zorenju. Poleg tega ocenjevanje volumna na terenu kmetom omogoča, da ocenijo svoj pridelek in zagotovijo njegovo kakovost in kakovosti primerno ceno na trgu. Prostornina plodov skupaj z maso določa gostoto. Gostota je odgovorna za svežino in okus sadja, kar je za kupce ključnega pomena.
Združenje Lušt je eden največjih proizvajalcev in dobaviteljev paradižnika v Sloveniji. Zato so želeli v svoj proizvodni sistem vključiti robota za obiranje plodov paradižnika, ki bi lahko dodatno izvajal ocenjevanje prostornine paradižnika na polju, ter pomagal pri napovedovanju pridelka in časa obiranja.
To diplomsko delo se osredotoča na sistem strojnega vida za robota, pri čemer predlaga metodo za segmentacijo paradižnikovih plodov iz RGB slik paradižnikovih rastlin, in oceno prostornine segmentiranih paradižnikov. V ta namen smo uporabili RGB-D kamero za hkratno zajemanje barvnih in globinskih slik.
Za segmentacijo paradižnikovih plodov predlagamo vnaprej naučen model Mask R-CNN, ki je bil usposobljen s podatkovno zbirko LaboroTomato. Razpoznavanje na slikah poteka z uporabo orodja MMDetection, ki je orodje za zaznavanje predmetov, ki temelji na knjižnici PyTorch. Da bi zagotovili, da je ta model primeren za razmere v realnih okoljih, smo zbrali nabor podatkov, v katerem smo združili 100 slik paradižnika iz Google Images in podatkovno zbirko "Real-world Tomato Image Dataset". Rezultati vrednotenja po pikslih so pokazali, da lahko model natančno segmentira paradižnikove plodove, ne glede na njihovo barvo in velikost.
Paradižnikovi plodovi so zaradi narave njihovega rastnega okolja pogosto zakriti z listi in vejami, včasih tako, da jih je težko izključiti iz paradižnikovih plodov, tudi če to nalogo opravljamo ročno. To se zgodi tudi pri avtomatski segmentaciji. To bi lahko bila potencialna težava, saj naši prihodnji načrti vključujejo določanje zrelosti na podlagi vrednosti slikovnih elementov v segmentacijah. V ta namen smo usposobili model Mask R-CNN za segmentacijo zelenih delov, da bi jih izključili iz segmentacij paradižnikovih plodov, in tako ne bi ovirali ocenjevanja zrelosti. Sestavili smo nabor podatkov s 437 slikami, od katerih smo 300 uporabili za učenje, preostalih 137 pa za testiranje. Učenje je bilo izvedeno v 5 epohah z uporabo okolja Google Colab. Ob upoštevanju velikosti nabora podatkov za učenje ter nepravilnih oblik vej in listov, so bili rezultati segmentacije pričakovani in zadovoljivi.
Na koncu predlagamo metodo prileganja krogle za ocenjevanje prostornine plodov paradižnika. Za zajem barvnih in globinskih slik paradižnika ter pridobitev njihovih oblakov točk smo uporabili globinsko kamero RealSense D435i proizvajalca Intel. Oblak točk je množica točk, ki omogočajo 3D vizualizacijo posnetega predmeta. Ker senzor za barvne in globinske slike uporablja različne kamere, je bil začetni korak poravnava obeh slik, tako da ima vsak slikovni element na globinski sliki enake x in y koordinate na barvni sliki. Nato smo lahko uporabili 2D-segmentacije plodov paradižnika, za pridobitev točke, ki pripadajo plodovom paradižnika. Nazadnje smo pridobljenim oblakom točk prilegali kroglo z metodo najmanjših kvadratov, ki temelji na minimiziranju vsote kvadratov razdalj od danih podatkovnih točk do prilegajoče se krogle. Prostornina paradižnika je nato ocenjena kot prostornina prilegajoče se krogle.
Z metodo izpodrivanja vode smo izmerili dejansko prostornino 8 paradižnikovih plodov in z njimi primerjali rezultate ocenjevanja. Vrednotenje je bilo opravljeno v nadzorovanem okolju, v katerem se je metoda dobro odrezala. Z našimi poskusi smo ugotovili, da je metoda zelo odvisna od oblike in vidljivosti paradižnika.
Da bi si ogledali obnašanje našega sistema v resničnem okolju, smo izvedli kvalitativno oceno na naboru podatkov, zbranem med testnim poskusom v rastlinjaku Lušt. Slike smo zbirali podnevi in ponoči, da bi preverili ustreznost naše umetne osvetlitve. Pri oblakih točk, pridobljenih v rastlinjaku Lušt, smo opazili slabšo kakovost v primerjavi z oblaki točk, pridobljenimi v nadzorovanem okolju. Razlogi za to so predmet našega nadaljnjega dela, vendar so možni vzroki v osvetlitvi in steklenem ohišju, ki pokriva kamero, saj lahko odsev povzroči motnje v globinskih slikah.
Kompleksno in neenakomerno okolje, v katerem se goji paradižnik, predstavlja največji izziv za našo metodo. Ta diplomska naloga postavlja temelje razvoja visoko natančnega vidnega sistema, primernega za razmere v rastlinjaku Lušt, ki bi ga lahko v naslednjih letih vključili v njihov proizvodni sistem.
|
