Intervali zaupanja za test Mann-Whitney

Manevski, Damjan (avtor), Pohar Perme, Maja (mentor)

Test Mann-Whitney se pogosto uporabi kot neparametrična alternativa testa t za dva vzorca. Čeprav ga pogosto srečamo v praksi, redko najdemo primere, v katerih so rezultati testa pospremljeni z ustreznim intervalom zaupanja. Poleg tega pa tudi ne srečamo enotnega poročanja intervalov zaupanja, saj so ti pogosto izračunani za razliko median ali za premik (ang. shift) med porazdelitvama. Ker ti meri nista neposredno povezani s testno statistiko testa Mann-Whitney, se lahko zgodi, da je interpretacija rezultatov testa pomembno različna od interpretacije intervalov zaupanja. V magistrskem delu se bomo osredotočili na verjetnost, da je slučajna spremenljivka X manjša ali enaka kot slučajna spremenljivka Y. Cenilka te mere je v bijektivni povezavi s testno statistiko Mann-Whitney in mero v literaturi pogosto srečamo kot stopnjo prekrivanja ali verjetnostni indeks. Ta mera je tudi enaka meri AUC (ang. area under the ROC curve). V literaturi smo že srečali nekaj različnih metod za izračun intervalov zaupanja te mere. V tem delu pa bomo obravnavali najbolj obetavne metode izmed teh in predstavili njihove ideje. Analizirali bomo lastnosti različnih cenilk za varianco in raziskali problem majhnih vzorcev pri konstrukciji intervalov zaupanja. Poleg tega bomo izpostavili primere, kadar trenutne metode za izračun intervalov zaupanja vrnejo neustrezne verjetnosti pokritja. V delu ugotovimo, da je cenilka DeLonga zanesljiva ne glede na porazdelitev obravnavanih vzorcev. Pri tem pa je bolj smiselno izračunati interval zaupanja na logit skali, s čimer hkrati odpravimo nekaj težav prvotne metode. Vseeno potrebujemo popravek intervala zaupanja za primer, ko so vse vrednosti enega vzorca manjše kot vse vrednosti drugega. Za ta namen smo predlagali popravek, ki v tem primeru da bistveno boljši interval zaupanja.

• Jezik: Slovenski jezik
• Ključne besede: Mann-Whitney, interval zaupanja, krivulja ROC, velikost učinka, majhne vzorce, verjetnostni indeks
• Vrsta gradiva: Magistrsko delo/naloga
• Organizacija: FE - Fakulteta za elektrotehniko
• Leto izida: 2018
• PID: 20.500.12556/RUL-102880
• Datum objave v RUL: 11.09.2018

Sekundarni jezik

• Jezik: Angleški jezik
• Naslov: Confidence intervals for the Mann-Whitney test

Izvleček

The Mann-Whitney test is a commonly used non-parametric alternative of the t-test. Despite its frequent use, it is only rarely accompanied with confidence intervals of an effect size. If reported, the effect size is usually measured with the difference of medians or the shift of the two distribution locations. Neither of these two measures directly coincides with the test statistic of the Mann-Whitney test, so the interpretation of the test results and the confidence intervals may be importantly different. In this paper, we focus on the probability that the value of the random variable X is lower than the random variable Y. The measure's estimator is in a one-to-one relationship with the Mann-Whitney test statistic and the measure itself is often referred to as the degree of overlap or the probabilistic index. It equals the area under the ROC curve. Several methods have been proposed for the construction of the confidence interval for this measure, we review the most promising ones and explain their ideas. We study the properties of the different variance estimators and the small sample problems of the confidence intervals construction. We identify scenarios in which the existing approaches yield inadequate coverage probabilities. We conclude that the DeLong variance estimator is a reliable option regardless of the scenario, but the intervals should be constructed using the logit scale to avoid values above 1 or below 0 and the poor coverage probability that follows. A correction is needed for the case when all values from one group are smaller than the values of the other. We propose a method that improves the coverage probability also in these cases.

• Ključne besede: Mann-Whitney, confidence interval, area under the ROC curve, effect size, small sample size, probabilistic index