Detecting surface anomalies with deep learning

Rački, Domen (author), Skočaj, Danijel (mentor), Tomaževič, Dejan (comentor)

Deep-learning-based approaches have proven to outperform other approaches in various computer vision tasks, making application-focused machine learning a promising area of research in automated visual inspection. In the dissertation, we apply deep learning to the challenging real-world problem domain of automated visual inspection of pharmaceutical products. We focus on investigating whether compact neural network architectures, adhering to performance, resource, and accuracy requirements, are suitable for application in the pharmaceutical visual inspection domain. We propose a compact and efficient convolutional neural network architecture design for the segmentation and scoring of surface defects, which we evaluate on a real-world dataset from the pharmaceutical product-inspection domain. In comparison with other related supervised segmentation approaches, we achieve state-of-the-art performance in terms of defect detection as well as real-time computational efficiency. When compared to the nearest best-performing architecture, we achieve state-of-the-art performance with a fraction of the parameter count, a multi-fold increase in inference speed, and increased surface defect detection performance. We furthermore propose an extension of the supervised approach to weakly-supervised learning via generated pseudo labels, which are obtained with an unsupervised deep learning model. The latter are utilized in a supervised fashion, since this allows the retention of compact model performance benefits, while removing or at the very least reducing the number of required manually annotated samples. Although this kind of approach is weaker when compared to supervised approaches using manually annotated labels, we achieve comparable results.

• Language: English
• Keywords: Surface defect detection, visual inspection, quality control, solid oral dosage forms, pharmaceutical industry, deep learning, segmentation, convolutional neural networks, visual anomaly detection
• Work type: Doctoral dissertation
• Typology: 2.08 - Doctoral Dissertation
• Organization: FRI - Faculty of Computer and Information Science
• Year: 2022
• PID: 20.500.12556/RUL-142942
• COBISS.SI-ID: 132401923
• Publication date in RUL: 05.12.2022

Secondary language

• Language: Slovenian
• Title: Detekcija anomalij na površinah z globokim učenjem

Abstract

Pristopi, ki temeljijo na globokem učenju, se izkažejo za učinkovitejše od klasičnih pristopov na različnih področjih računalniškega vida, zaradi česar je postalo aplikativno strojno učenje obetavno področje raziskav pri avtomatiziranem vizualnem pregledovanju. V disertaciji uporabimo globoko učenje za avtomatizirano pregledovanje površin na zahtevni problemski domeni farmacevtskih izdelkov. Osredotočimo se na vprašanje, ali so kompaktne arhitekture nevronskih mrež, ki ustrezajo zahtevam glede porabe virov ter detekcij anomalij, primerne za uporabo na področju vizualnega pregledovanja farmacevtskih izdelkov. Predlagamo kompaktno in učinkovito zasnovo arhitekture konvolucijske nevronske mreže za segmentacijo in napovedovanje pristonosti površinskih napak, katero ovrednotimo na zahtevni množici podatkov s področja pregledovanja farmacevtskih izdelkov. V primerjavi z drugimi sorodnimi pristopi nadzorovane segmentacije dosežemo najboljšo točnost pri detekciji napak ter računsko učinkovitost v realnem času. V primerjavi z najbližjo arhitekturo po točnosti, dosežemo boljšo zmogljivost z le nekaj odstotki števila parametrov, večkratno povečanje hitrosti napovedovanja, ter povečano točnost detekcije površinskih napak. Nadaljnjo predlagamo razširitev nadzorovanega pristopa v šibko nadzorovano učenje z uporabo psevdo label, pridobljenih z nenadzorovanim modelom globokega učenja. Slednje se uporabijo v nadzorovanem načinu, saj to omogoča ohranitev prednosti zmogljivega kompaktnega modela, hkrati pa odpravlja ali vsaj zmanjša potrebo po ročnem označevanju podatkov. Čeprav je tovrstni pristop šibkejši kakor nadzorovani pristopi z uporabo ročno označenih label, dosežemo primerljive rezultate.

• Keywords: Detekcija napak na površinah, vizualno pregledovanje, nadzor kakovosti, trdne peroralne dozirne oblike, farmacevtska industrija, globoko učenje, segmentacija, konvolucijske nevronske mreže, detekcija vizualnih anomalij