Iterativne numerične metode v posplošenih linearnih modelih : delo diplomskega seminarja

Mandić, Mitja (author), Smrekar, Jaka (mentor)

V nalogo smo se spustili z namenom razumeti postopek ocenjevanja parametrov v posplošenih linearnih modelih. Za uvod si postavimo teoretične temelje z eksponentno družino in izpeljemo nekaj lastnosti. Nato definiramo posplošene linearne modele in si ogledamo nekaj najpomembenjših primerov ter predstavimo metode za ocenjevanje parametrov, s poudarkom na metodi največjega verjetja. Izpeljemo enačbe verjetja za logistični model, rezultate nato komentiramo v luči eksponentne družine in jih posplošimo na vse porazdelitve, ki ji pripadajo. Izpeljemo tudi enačbe verjetja v probit modelu in opazimo prednosti uporabe kanoničnih povezovalnih funkcij. V drugem delu naloge se posvetimo numeričnim metodam. Izpeljemo Newtonovo metodo in komentiramo težave, ki lahko nastopijo z njeno uporabo. Izpeljemo tudi Fisherjevo zbirno metodo in dokažemo, da se ob uporabi modela s kanonično povezovalno funkcijo ujema z Newtonovo metodo. Izpeljano teorijo v zadnjem delu povežemo v praktičnem primeru. Primerjamo rezultate dobljene s probit in logističnim modelom in komentiramo morebitne razlike.

• Language: Slovenian
• Keywords: eksponentna družina, kanonični parameter, cenilka največjega verjetja, logistični model, Fisherjeva zbirna metoda
• Work type: Final seminar paper
• Typology: 2.11 - Undergraduate Thesis
• Organization: FMF - Faculty of Mathematics and Physics
• Year: 2021
• PID: 20.500.12556/RUL-130275
• UDC: 519.2
• COBISS.SI-ID: 76276227
• Publication date in RUL: 12.09.2021

MANDIĆ, Mitja, 2021, Iterativne numerične metode v posplošenih linearnih modelih : delo diplomskega seminarja [online]. Bachelor’s thesis. [Accessed 17 May 2025]. Retrieved from: https://repozitorij.uni-lj.si/IzpisGradiva.php?lang=eng&id=130275

Secondary language

• Language: English
• Title: Iterative numerical methods in generalized linear models

Abstract

We have conducted the following research in order to understand the process of parameter estimation in generalized linear models. In the beginning we lay theoretical foundations with exponential family and derive some of it's properties. Then we define generalized linear models, inspect some more important cases and define multiple methods for parameter estimation, taking a closer look at the maximum likelihood method. We go on to derive maximum likelihood equations in the logistic model and generalize the result for the exponential family. As an alternative, we derive the same equations also for the probit model and comment on the advantages of using canonical link functions. The second part focuses on numerical methods. We derive the Newton method and comment on its possible issues. We also define the Fisher's scoring algorithm and prove the equivalence of the methods for canonical distribution models. Theory is then put to work in the last part of the research. We compare probit and logit models and comment on the differences between the two.

• Keywords: exponential family, canonical parameter, maximum likelihood estimator, logistic model, Fisher's scoring algorithm