Optimizacija procesov pridobivanja, transformacije in nalaganja podatkov z orodjem Spark in platformo DatabricksRutar, Filip (Avtor) Sedlar, Urban (Mentor) podatkovni inženiringSparkDatabricksETLPodjetja se danes soočajo z vse večjimi količinami podatkov, zato je njihova učinkovita obdelava ključna za pridobivanje vpogledov, optimizacijo poslovnih procesov in ohranjanje konkurenčne prednosti. Cilj magistrskega dela je predstaviti, preizkusiti in ovrednotiti vpliv različnih optimizacij na delovanje procesov pridobivanja, transformacije in nalaganja (ang. ETL) z uporabo orodja Apache Spark na platformi Databricks, s ciljem znižanja stroškov in izboljšanja hitrosti izvajanja. V teoretičnem delu naloge so predstavljeni osnovni koncepti podatkovnega inženiringa, vključno s strukturo in namenom posameznih faz ETL procesov ter njihovim ustvarjanjem. Sledi poglobljena predstavitev orodja Apache Spark, s poudarkom na osnovnih konceptih, kot sta MapReduce in podatkovna struktura odporen distribuiran podatkovni set (ang. RDD), ter tehnologijah, ki se uporabljajo za optimizacijo poizvedb. Primerjane so različne arhitekture za shranjevanje in upravljanje podatkov, kot so podatkovne baze, podatkovna skladišča in podatkovna jezera. Pomembna lastnost Sparka je sposobnost razdelitve nalog na manjše enote dela in njihove razporeditve med več strežnikov, pri čemer za nadzor izvajanja skrbi upravitelj gruče. Procesi Sparka lahko tečejo bodisi na lastni infrastrukturi ali z uporabo oblačnih storitev, kot je platforma Databricks. V praktičnem delu naloge so analizirani štirje ETL procesi. Razlikujejo se glede na zahtevnost, količino obdelanih podatkov, čas izvajanja in vrsto opravljenih operacij ter predstavljajo raznolik vzorec realnih podatkovnih procesov. Na teh procesih so preizkušene različne optimizacije, razdeljene v dve glavni kategoriji: optimizacije na ravni infrastrukture in optimizacije posameznih nalog znotraj procesa. Rezultati kažejo na pomembne izboljšave stroškovne učinkovitosti in hitrosti izvajanja. Največji vpliv je imela uporaba spot in fleet strežniških instanc, ki sta skupaj z drugimi optimizacijami omogočile do 80% znižanje stroškov in do 40% hitrejše izvajanje procesov. Dodatne optimizacije, kot so preureditev strukture in zaporedja nalog, uporaba eksplicitno določenih shem podatkov in lastnih funkcij, so še dodatno izboljšale zanesljivost procesov ter poenostavile njihovo ustvarjanje in vzdrževanje. Poleg tega sta še dve optimizaciji shranjevanja podatkov do 90% znižali strošek shranjevanja, ter hkrati izboljšali hitrost dostopa do podatkov.20242024-09-30 13:00:00Magistrsko delo/naloga162992sl