20.500.12556/RUL-189417 Orkestracija modularnega cevovoda za procesiranje in shranjevanje korpusnih podatkov Orchestration of a modular pipeline for processing and storing corpus data V magistrskem delu se osredotočamo na prenovo podatkovnega cevovoda za obdelavo in shranjevanje medijskih besedil, ki se uporabljajo kot vhod v spremljevalni korpus Trendi. Obstoječi monolitni sistem je podatke hranil izključno v datotečnem sistemu in vmesnih izhodov ni sistematično preverjal, kar je vodilo do pogostih neopaženih napak obdelave in nestabilnosti pri pretvorbi večjih količin besedil. Prenova sledi trem ciljem: zagotoviti preverljivost in sledljivost podatkov, preiti na modularno arhitekturo ter vzpostaviti nadzor, ki izboljša pristop k izvajanju nalog. Cevovod smo razdelili na samostojne komponente. Po ovrednotenju treh podatkovnih baz smo izbrali tisto, ki najbolje ustreza zahtevam sistema in trenutno služi kot operativni vir podatkov cevovoda. Pravilnost podatkov se preverja na prehodih med formati, vsaka zaznana napaka pa izvajanje ustavi in se zabeleži. Bralna nadzorna plošča vzdrževalcem ponuja jasen pregled nad potekom obdelave in trenutnim stanjem podatkov. Pravilnost rešitve smo preverili z integracijskimi testi, osredotočenimi na robne primere, pri čemer smo uporabili referenčne produkcijske podatke. This master's thesis focuses on the redesign of a data pipeline for processing and storing media texts that serve as input to the Trendi monitor corpus. The existing monolithic system stored data exclusively in the file system and did not systematically validate intermediate outputs, which led to frequent unnoticed processing errors and instability when converting larger volumes of text. The redesign pursues three goals: ensuring the verifiability and traceability of data, moving to a modular architecture, and establishing monitoring that improves how tasks are executed. We split the pipeline into independent components. After evaluating three databases, we selected the one that best fits the system's requirements and currently serves as the operational data source of the pipeline. Data correctness is checked at the transitions between formats, and every detected error stops execution and is logged. A read-only dashboard gives maintainers a clear overview of processing progress and the current state of the data. We verified the correctness of the solution with integration tests focused on edge cases, using a reference set of production data. Podatkovni cevovod Modularnost Orkestracija Python Rust NLP Korpus Data pipeline Modularity Orchestration Python Rust NLP Corpus true false false Slovenski jezik Angleški jezik Magistrsko delo/naloga 2026-10-06 17:10:29 2026-10-06 17:10:36 2026-10-07 04:27:17 0000-00-00 00:00:00 2026 0 0 0000-00-00 NiDoloceno NiDoloceno NiDoloceno 0000-00-00 0000-00-00 0000-00-00 1970-01-01 38464 Sedeljsak_Janez_-_Orkestracija_modularnega_cevovoda_za_procesiranje_in_shranjevanje_korpusnih_po.pdf Sedeljsak_Janez_-_Orkestracija_modularnega_cevovoda_za_procesiranje_in_shranjevanje_korpusnih_po.pdf 1 2CE2E57527333755D4F8B98CC456A9B4 263c4f0b81851a9afc1f0d5bce76d4ee4bd58774016d346bd329e170f3db81f4 f43dd0c9-c197-11f1-8bc5-0050569b8976 https://repozitorij.uni-lj.si/Dokument.php?lang=slv&id=249931 Fakulteta za računalništvo in informatiko 0 0 0