20.500.12556/RUL-149498 Self-supervised anomaly detection in production log streams Samonadzorovano odkrivanje anomalij v produkcijskih dnevniških zapisih Log-based anomaly detection solutions are needed to effectively analyze and interpret vast amounts of generated log data, uncover hidden patterns, and predict system anomalies, enhancing operational efficiency, ensuring system security, and reducing potential downtime. In recent times, there has been development in the field of automatic anomaly detection using machine learning methods. In this work, we extended LogBERT, a well-known method in the field, into a hierarchical transformer by including a pre-trained language model to obtain semantic embeddings of log templates. We provide richer information and avoid the out-of-vocabulary problem that is faced with the original LogBERT method. We introduce a novel method called SemLogBERT. We found out that the results presented in most of the SOTA methods severely overestimate models' performance. We evaluated LogBERT and SemLogBERT in a more realistic scenario, where it improved the performance on some of the standard benchmark datasets. Rešitve za avtomatsko odkrivanje anomalij v sistemskih dnevniških zapisih so potrebne za učinkovito analizo in interpretacijo ogromnih količin ustvarjenih podatkov dnevnikov, odkrivanje skritih vzorcev in napovedovanje sistemskih anomalij, izboljšanje učinkovitosti delovanja, zagotavljanje varnosti sistema in zmanjšanje možnih izpadov. V zadnjem času je prišlo do razvoja na področju samodejnega odkrivanja nepravilnosti z uporabo metod strojnega učenja. V tem delu smo razširili na tem področju dobro znano metodo LogBERT v hierarhični transformator z vključitvijo prednaučenega jezikovnega modela za pridobitev semantičnih vložitev predlog dnevniških zapisov. S tem zagotavljamo bogatejše informacije in se izognemo težavam novih predlog, s katerimi se sooča izvirna metoda LogBERT. Predstavljamo novo metodo, imenovano SemLogBERT. Ugotovili smo, da rezultati, predstavljeni v večini modernih metod, močno precenjujejo njihovo učinkovitost. LogBERT in SemLogBERT smo ovrednotili v bolj realističnem scenariju, kjer smo izboljšali rezultate na nekaterih izmed standardnih primerjalnih podatkovih zbirk na tem področju. Natural language processing anomaly detection production logs machine learning self-supervised learning Obdelava naravnega jezika odkrivanje anomalij produkcijski dnevniški zapisi strojno učenje samonadzorovano strojno učenje true false false Angleški jezik Slovenski jezik Magistrsko delo/naloga 2023-09-07 11:18:33 2023-09-07 11:18:34 2023-09-11 10:08:59 0000-00-00 00:00:00 2023 0 0 0000-00-00 NiDoloceno NiDoloceno NiDoloceno 0000-00-00 0000-00-00 0000-00-00 35401 163944963 Martincic_Tomaz_-_Samonadzorovano_odkrivanje_anomalij_v_produkcijskih_dnevniskih_zapisih.pdf Martincic_Tomaz_-_Samonadzorovano_odkrivanje_anomalij_v_produkcijskih_dnevniskih_zapisih.pdf 1 AAB334DAB176DB869367F71D92830D79 4552668642f90d4e447abb706f6b3d5173490df267701274973ba1c68db40d52 83bc5f2d-4d5f-11ee-9934-0050569b8976 https://repozitorij.uni-lj.si/Dokument.php?lang=slv&id=173982 Fakulteta za računalništvo in informatiko 0 0 0