20.500.12556/RUL-171747 L2-penalizacija v linearnih mešanih modelih L2-penalization in linear mixed effects models V magistrskem delu obravnavamo L2-penalizacijo v linearnih mešanih modelih (LMM), s poudarkom na visokorazsežnih podatkih, kjer je število spremenljivk večje od števila opazovanj. Klasični pristopi za ocenjevanje parametrov LMM v takšnih pogojih odpovejo. V literaturi je L2-penalizacija (ridge regularizacija) ena izmed najpogosteje uporabljenih metod za obvladovanje preprileganja modelov. Njena implementacija v okviru mešanih modelov je omejena, ker večina obstoječih metod in programskih orodij ne podpira neposredne vključitve penalizacije, kar otežuje praktično uporabo ridge regularizacije pri mešanih modelih. V nalogi predstavimo nov pristop za uvedbo L2-penalizacije v LMM preko umetno generiranih psevdoopazovanj, ki za ocenjevanje penaliziranih LMM omogoča uporabo standardnih programskih orodij, kot sta lme4 in glmmTMB. Teoretično utemeljimo ekvivalentnost z Bayesovim pristopom ter izpeljemo konstrukcijo psevdoopazovanj, ki ustrezajo penalizacijskemu členu v logaritmu penaliziranega verjetja. Metodo ovrednotimo na simuliranih visokorazsežnih podatkih, kjer primerjamo napovedno uspešnost penaliziranih modelov pri različnih vrednostih penalizacijskega parametra λ. Rezultati kažejo, da predlagani pristop omogoča stabilne ocene parametrov tudi v visokorazsežnih primerih. Primerjamo tudi različne pristope izbire penalizacijskega parametra, vključno z navzkrižnim preverjanjem z izpustom posamezne gruče (angl. leave-one-cluster-out). Delo prispeva k razvoju metodologije za modeliranje koreliranih visokorazsežnih podatkov z uporabo linearnih mešanih modelov in odpira možnosti za nadaljnje raziskave v smeri drugih penalizacijskih pristopov in posplošenih mešanih modelov. This thesis addresses the problem of L2-penalization in linear mixed models (LMM), with a focus on high-dimensional settings where the number of covariates exceeds the number of observations. Classical methods for parameter estimation fail under such conditions. In the literature, L2-penalization (ridge regularization) is one of the most widely used methods to control overfitting, but its implementation within mixed models is limited, since most existing approaches and software tools do not support direct inclusion of penalization, which hinders the practical application of ridge regularization in mixed models. We present a novel approach for introducing L2-penalization in LMM through artificially generated pseudo-observations, which enables estimation of penalized LMM using standard software tools such as lme4 and glmmTMB.We theoretically justify its equivalence to the Bayesian approach and derive the construction of pseudo-observations corresponding to the penalization term in the penalized log-likelihood. The method is evaluated on simulated high-dimensional data, where we compare the predictive performance of penalized models across different values of the penalization parameter λ. The results demonstrate that the proposed approach yields stable parameter estimates even in high-dimensional settings. We further compare different strategies for selecting the penalization parameter, including cross-validation with leave-one-cluster-out. This work contributes to the development of methodology for modeling correlated highdimensional data using linear mixed models and opens avenues for future research on other penalization approaches and generalized mixed models. linearni mešani modeli L2-penalizacija ridge regularizacija psevdoopazovanja visokorazsežni podatki regularizacija navzkrižno preverjanje linear mixed models L2-penalization ridge regularization pseudo-observations high-dimensional data regularization cross-validation true false false Slovenski jezik Angleški jezik Magistrsko delo/naloga 2025-09-01 12:55:00 2025-09-01 12:55:08 2025-11-11 13:10:30 0000-00-00 00:00:00 2025 0 0 0000-00-00 NiDoloceno NiDoloceno NiDoloceno 0000-00-00 0000-00-00 0000-00-00 63122 256730115 Gerdej_Lan_-_L2-penalizacija_v_linearnih_mesanih_modelih.pdf Gerdej_Lan_-_L2-penalizacija_v_linearnih_mesanih_modelih.pdf 1 79C34137F37915162B781AF2804CD4D7 061f85612d115d6089d09e06546ea70f7a904b5496ed77d24fb18ce008130f65 fcae8910-8721-11f0-9328-0050569b8976 https://repozitorij.uni-lj.si/Dokument.php?lang=slv&id=215143 Fakulteta za elektrotehniko 0 0 0