Točkovanje ordinalnih postavk z navadnim seštevanjem, optimalnim lestvičenjem in faktorsko analizo : magistrsko delo

Lazar, Andraž (avtor), Sočan, Gregor (mentor)

Pri postopkih klasične testne teorije (npr. navadno seštevanje odgovorov) moramo upoštevati nekatere omejitve, na podlagi katerih pri izračunu končnega testnega dosežka izgubimo nekaj informacije. Ena izmed omejitev je, da ordinalno lestvico obravnavamo kot intervalno (npr. 5-stopenjska Likertova lestvica; 1-sploh se ne strinjam, 2-ne strinjam se, 3-niti se ne strinjam niti se strinjam, 4-strinjam se, 5-popolnoma se strinjam). Besedni opisi lahko še dodatno kažejo na neenake razdalje med odgovornimi kategorijami. Zaradi tega je navadno seštevanje odgovorov vprašljivo. Največ, kar lahko naredimo, je, da odnos spremenljivk s pomočjo transformacije lestvičnih vrednosti poskušamo približati linearnemu, s tem pa približamo lestvico intervalni. To lahko storimo z metodami optimalnega lestvičenja, ki poskušajo linearizirati odnos med spremenljivkami. V teoriji latentnih potez pa se faktorska analiza poskuša približati intervalnosti preko latentnega odgovora. V naši raziskavi smo s pomočjo računalniške simulacije raziskovali vpliv števila kategorij, dolžine testa, velikosti vzorca in vzorca razmaknjenosti pragov na zanesljivost in veljavnost testa pri treh metodah lestvičenja: navadno seštevanje odgovorov, faktorska analiza za kategorialne spremenljivke in optimalno lestvičenje. Likertove postavke na testu so imele 4, 5 in 7 odgovornih kategorij s po 10, 20 ali 30 postavkami, tremi velikostmi vzorca (100, 200 in 500 simuliranih udeležencev) in tremi vzorci razmaknjenosti pragov (enakomerni, srednje asimetrični in močno asimetrični pragovi). V vsakem izmed 81 pogojev smo generirali matriko odgovorov, na kateri smo izračunali končni testni dosežek s pomočjo treh metod. Zatem smo izračunali za vsakega izmed končnih dosežkov notranjo skladnost in kriterijsko veljavnost. Splošno najboljše rezultate z vidika zanesljivosti kot tudi veljavnosti smo dobili s faktorsko analizo, sledita optimalno lestvičenje in navadno seštevanje odgovorov. Kot statistično značilni so se pokazali vsi štirje eksperimentalni faktorji. Na podlagi rezultatov smo podali nekaj priporočil za točkovanje ordinalnih postavk oz. postavk Likertovega tipa.

• Jezik: Slovenski jezik
• Ključne besede: konstruktna veljavnost, faktorska analiza, točkovanje, lestvičenje, vprašalniki
• Vrsta gradiva: Magistrsko delo/naloga
• Tipologija: 2.09 - Magistrsko delo
• Organizacija: FF - Filozofska fakulteta
• Kraj izida: Ljubljana
• Založnik: [A. Lazar]
• Leto izida: 2023
• Št. strani: 59 str.
• PID: 20.500.12556/RUL-144236
• UDK: 159.9.072(043.2)
• COBISS.SI-ID: 144742659
• Datum objave v RUL: 05.02.2023

Sekundarni jezik

• Jezik: Angleški jezik
• Naslov: Ordinal items scoring using simple summation, optimal scaling and factor analysis

Izvleček

In classical test theory procedures (e.g. simple summation of responses), we have to take into account some limitations, due to which we lose some information when calculating the test score. One of the limitations is that the ordinal scale is treated as interval (e.g., 5-point Likert scale; 1-Strongly disagree, 2-Disagree, 3-Neither agree nor disagree, 4-Agree, 5-Strongly agree). Verbal descriptions may also indicate unequal differences between the responsible categories. This makes simple summation of responses questionable. At most, we can attempt to approximate the linear relationship of the variables by transforming the scale values, thereby approximating the interval scale. This can be done with optimal scaling methods, which attempt to linearize the relationship between the variables. Alternatively, in the latent variable theory, factor analysis attempts to approximate the interval measure by introducing continuous latent response. In our study, we used computer simulation to investigate the influence of the number of categories, the length of the test, the sample size, and the pattern of distances between response categories on the reliability and validity of the test under three scaling methods: simple summation of answers, factor analysis for categorical variables and optimal scaling. The Likert-type items had 4, 5, and 7 response categories with 10, 20, or 30 items, three sample sizes (100, 200, and 500 simulated participants), and three different distances between response categories (equal distances, moderately asymmetric, and strongly asymmetric distances). For each of the 81 conditions, we generated a matrix of responses, on which we calculated the final test scores using three methods. We then calculated internal consistency and criterion validity for each of the final test scores. In general, the best results in terms of both reliability and validity were obtained with factor analysis, followed by optimal scaling and simple summation of answers. All four experimental factors were found to be statistically significant. On the basis of the results, we made some recommendations for scoring items that use ordinal or Likert-type scales.

• Ključne besede: construct validity, factor analysis, scoring, scaling, questionnaires