OCENA TRAJANJA SPLETNE ANKETE NA OSNOVI PARAPODATKOV

Štrlekar, Luka (avtor), Vehovar, Vasja (mentor)

Spletne ankete predstavljajo pomemben način zbiranja podatkov v družboslovnem raziskovanju. Tak pristop pa poleg zajema vsebinskih podatkov omogoča tudi zbiranje digitalnih sledi, imenovanih parapodatki, ki beležijo respondentovo dejavnost med izpolnjevanjem vprašalnika. Parapodatki so v spletnih anketah še posebej dragoceni, ker izpolnjevanje poteka brez prisotnosti anketarjev. V tem okviru so se odzivni časi – gre za čas, potreben za izpolnitev vprašanja, strani ali cele ankete – uveljavili kot najpogosteje uporabljen tip parapodatkov, s katerim obravnavamo potek in kakovost procesa odgovarjanja. Čeprav je tehnično beleženje časovnih značk na ravni strani v orodjih za spletno anketiranje dobro uveljavljeno, pa nerešeno ostaja osnovno vprašanje, ali se lahko privzeto izračunane odzivne čase brez zadržkov uporabi v nadaljnji obravnavi. Pojavi se namreč dilema, ali izmerjeni odzivni časi oziroma odgovarjajoče hitrosti izpolnjevanja dejansko odsevajo zgolj kognitivne procese respondenta in lastnosti anketnih vprašanj. Ocena hitrosti izpolnjevanja je lahko pristranska zaradi motečih dejavnikov: premori in večopravilno vedenje ter vračanje na že obiskane strani pomenijo, da je odzivni čas v osnovi nepravilno ocenjen; odgovarjanje na odprta vprašanja in postavko »Drugo« umetno ustvarja videz počasnejšega izpolnjevanja; izpuščanje odgovorov in neizpostavljenost vprašanjem zaradi nastavljenih pogojev pa dajeta videz hitrejšega izpolnjevanja. Glavni cilji magistrskega dela so konceptualizacija motečih dejavnikov v spletnih anketah, predlog njihove obravnave (tj. nevtralizacije njihovega učinka) ter tehnična implementacija standardiziranega postopka obravnave odzivnih časov v programskem jeziku R. V empiričnem delu smo najprej izdelali napovedi pričakovanega časa odgovarjanja za različne vrste anketnih vprašanj. Praktične obravnave motečih dejavnikov smo se lotili tako, da smo odzivne čase vsake strani vprašalnika ob njihovi prisotnosti popravili z odgovarjajočimi postopki. S tem odzivni časi vsake strani postanejo medsebojno primerljivi. Na tako pripravljenih odzivnih časih lahko šele izračunamo hitrost respondentovega izpolnjevanja spletnega vprašalnika in jih uporabimo pri vrednotenju kakovosti odgovarjanja.

• Jezik: Slovenski jezik
• Ključne besede: spletne ankete, parapodatki, odzivni časi, moteči dejavniki
• Vrsta gradiva: Magistrsko delo/naloga
• Organizacija: FE - Fakulteta za elektrotehniko
• Leto izida: 2024
• PID: 20.500.12556/RUL-159143
• Datum objave v RUL: 02.07.2024

Sekundarni jezik

• Jezik: Angleški jezik
• Naslov: ESTIMATION OF ONLINE SURVEY DURATION BASED ON PARADATA

Izvleček

Web surveys are an important method of data collection in social science research. Such an approach, in addition to capturing substantive data, also enables the collection of digital traces, called paradata, which record the respondent's activity while filling out the questionnaire. Paradata are especially valuable in web surveys because their completion takes place without the presence of interviewers. In this context, response times – the time required to complete a question, page, or entire survey – have become the most commonly used type of paradata to address the flow and quality of the response process. Although the technical recording of timestamps at the page level in web survey software is well established, the basic question remains whether the default calculated response times can be used without hesitation in further research. Namely, the dilemma arises whether the measured response times or the corresponding completion speed only reflect the cognitive processes of the respondent and the characteristics of the survey questions. Completion speed estimation can be biased by confounding factors: pauses, multitasking behavior, and returning to previously visited pages mean that response time is fundamentally misestimated; answering open-ended questions and the item »Other« artificially creates the appearance of slower completion speed; not answering the questions and not being exposed to the questions due to branching give the appearance of faster completion speed. The main goal of the master's thesis is the conceptualization of the confounding factors in web surveys, the proposal of their treatment (i.e. neutralization of their effect), and the technical implementation of a standardized procedure for handling response times in the R programming language. In the empirical part, predictions of the expected response time for different types of survey questions were first made. The practical treatment of confounding factors was tackled by adjusting the response times of each questionnaire’s page in the event of their presence using appropriate procedures. This makes the response times of every page comparable to each other. Only now can we calculate the respondent's completion speed of the online questionnaire and use response times to evaluate the quality of the response process.

• Ključne besede: web surveys, paradata, response times, confounding factors