Obdelava in analiza besedila z uporabo MatlabaŠirca, Klara (Avtor) Knez, Marjetka (Mentor) Matlabobdelava naravnega jezikaZipfov zakonskupna informacijaPearsonov hi-kvadrat test$n$-gramski modeliSVDDiplomsko delo je posvečeno metodam za obdelavo in analizo naravnega jezika v besedilih. Na začetku je na kratko opisano Matlabovo orodje \emph{Text Analytics Toolbox}, nato pa so predstavljeni osnovni objekti za shranjevanje besedila v Matlabu. Predstavljene so strukturne komponente naravnega jezika in načini, kako se lahko te obdela, da jih razume računalnik. V delu so opisane nekatere metode, kot so tokenizacija, lematizacija in krnjenje. Primer uporabe teh metod v Matlabu je prikazan na prosto dostopni knjigi Zločin in kazen avtorja Dostojevskega. V nadaljevanju je predstavljen Zipfov zakon in nekaj glavnih statističnih značilnosti besedilnih korpusov, ob tem pa so omenjene njihove posledice in te prikazane na primeru. Del diplomskega dela je posvečen tudi geometrijskim modelom. V tem delu so definirani različni načini predstavitve besedilnih zbirk: z matriko izrazov in dokumentov ter \emph{tf-idf} matriko. Prav tako sta opisani matrika sočasnih pojavitev besed in matrika prekrivanja. Matrika izrazov in dokumentov predstavlja vektorski prostor besed in dokumentov, zato so na kratko opisane tudi osnovne značilnosti predstavitve dokumentov v vektorskih prostorih. Predstavljeni so tudi načini za merjenje podobnosti med dokumenti. Peti del se ukvarja z analizo sočasnih pojavitev besed v odstavkih in tu je najprej opisano teoretično ozadje Shannonove entropije in skupne informacije. Na podlagi te teorije je izračunana točkovna skupna informacija za pare besed v knjigi Zločin in kazen. Prikazane in opisane so ugotovitve, ki jih prinaša izračun točkovne skupne informacije. Opisan je tudi Pearsonov $\chi^2$-test neodvisnosti, njegova uporabnost pa je prikazana pri analizi besednih kolokacij. V šestem poglavju so predstavljeni še $n$-gramski modeli: unigramski, bigramski in trigramski. Ti modeli temeljijo na predpostavki Markova. Razloženo je ocenjevanje parametrov v $n$-gramskih jezikovnih modelih, nato pa je opisanih nekaj metod diskontiranja, ki odvzemajo verjetnostno maso dogodkom, ki se pojavijo v učnem korpusu, in jo porazdelijo med še nevidene dogodke. V zadnjem poglavju je opisanih nekaj metod redukcije dimenzij, kot so rezanje in združevanje besedišča ter redukcija dimenzij s pomočjo singularnega razcepa.20222022-10-04 07:15:16Delo diplomskega seminarja/zaključno seminarsko delo/naloga141651sl