lI livelli di significatività arbitraria vengono decisi prima del calcolo della statistica di contrasto e i livelli di significatività non arbitraria dipendono dal valore assunto dalla statistica di contrasto, entrambi dipendenti dalla distribuzione seguita dai dati.
In altre parole, i livelli di significatività arbitraria saranno sempre gli stessi per diversi valori della statistica del test e i livelli di significatività non arbitraria saranno diversi per diversi valori della statistica del test.
Non arbitrario
Quando si indica un concetto, la caratteristica di essere arbitrario significa che il valore di quel concetto è scelto dal ricercatore. a priori (prima) di eseguire l'esperimento senza fare affidamento su alcuna informazione correlata.
P-value ed elefanti
Ad esempio, supponiamo di voler testare il numero di elefanti in un prato.
Prima di vedere il prato e gli elefanti che esistono realmente, supponiamo a priori il numero di elefanti. Diciamo che ci possono essere 10 elefanti. Quindi, andiamo al prato e contiamo il numero di elefanti che vediamo: 1, 2, 3, 4, 5, 6 e 7.
La nostra ipotesi nulla era che il numero di elefanti nel prato fosse uguale a 10 e la nostra ipotesi alternativa era che ce ne fossero meno di 10. Quindi, dati gli elefanti presenti, rifiuteremmo l'ipotesi nulla. Ma… cosa succede se ci sono altri 3 elefanti nel prato ma sono nascosti dietro gli alberi? Rifiuteremmo la nostra ipotesi nulla quando potrebbe essere vera se, invece di contare gli elefanti, avessimo calcolato il numero massimo di elefanti che la prateria può ospitare.
Analisi
I 10 elefanti scelti all'inizio sono stati del tutto arbitrari perché non abbiamo visto le dimensioni del prato e, quindi, non sappiamo se 10 elefanti siano tanti o poco.
Se invece, date le dimensioni del prato, calcoliamo il numero massimo di elefanti che può ospitare, sapremo qual è il valore massimo per non scartare l'ipotesi nulla. Quindi trovare il numero reale sarà molto più facile.
Confronto
Lo stesso vale per i livelli di significatività 1%, 5% e 10% rispetto al p-value. In molti contrasti scegliamo il livello di significatività senza prendere in considerazione alcuna informazione diversa dalla distribuzione. Normalmente viene utilizzato il 5% come livello di significatività (alfa), lasciando il 95% del campione all'interno dell'intervallo di confidenza.
Il problema di assegnare arbitrariamente il livello di significatività è lo stesso problema che abbiamo con l'esempio dell'elefante. Se riteniamo che sia corretto applicare il 5% (livello di significatività), possiamo rifiutare l'ipotesi nulla quando il minimo da rifiutare è 2% (p-value). Incorreremmo in risultati errati semplicemente impostando il 5% invece del valore minimo da rifiutare (2%).
In altre parole stiamo concludendo che ci sono meno di 10 elefanti nel prato ma in realtà ci sono altri 3 elefanti ma sono nascosti. Quindi, è molto più veloce calcolare qual è il livello di significatività massimo o minimo per il quale non rifiuteremmo o rifiuteremmo l'ipotesi nulla.
Regola di rifiuto
Se valore - p < livello di significatività => rifiuto H0.
Se valore - p > livello di significatività => Nessun rifiuto H0.