Orkestracija modularnega cevovoda za procesiranje in shranjevanje korpusnih podatkovSedeljšak, Janez (Avtor) Faganeli Pucer, Jana (Mentor) Kosem, Iztok (Komentor) Podatkovni cevovodModularnostOrkestracijaPythonRustNLPKorpusV magistrskem delu se osredotočamo na prenovo podatkovnega cevovoda za obdelavo in shranjevanje medijskih besedil, ki se uporabljajo kot vhod v spremljevalni korpus Trendi. Obstoječi monolitni sistem je podatke hranil izključno v datotečnem sistemu in vmesnih izhodov ni sistematično preverjal, kar je vodilo do pogostih neopaženih napak obdelave in nestabilnosti pri pretvorbi večjih količin besedil. Prenova sledi trem ciljem: zagotoviti preverljivost in sledljivost podatkov, preiti na modularno arhitekturo ter vzpostaviti nadzor, ki izboljša pristop k izvajanju nalog. Cevovod smo razdelili na samostojne komponente. Po ovrednotenju treh podatkovnih baz smo izbrali tisto, ki najbolje ustreza zahtevam sistema in trenutno služi kot operativni vir podatkov cevovoda. Pravilnost podatkov se preverja na prehodih med formati, vsaka zaznana napaka pa izvajanje ustavi in se zabeleži. Bralna nadzorna plošča vzdrževalcem ponuja jasen pregled nad potekom obdelave in trenutnim stanjem podatkov. Pravilnost rešitve smo preverili z integracijskimi testi, osredotočenimi na robne primere, pri čemer smo uporabili referenčne produkcijske podatke.20262026-10-06 17:10:29Magistrsko delo/naloga189417VisID: 38464sl