Forskare försöker etablera teorier eller upptäcka lagar som förklarar observationer eller resultat av experiment. Det första steget är att konstruera en hypotes, eller försök till förklaring, för en uppsättning fakta, och sedan testa den. Vanligtvis används statistiska metoder: ett urval av data undersöks för att se om det stöder den föreslagna förklaringen. Vanligtvis kommer en nollhypotes, som motsäger förklaringen, att konstrueras — detta betecknas normalt med H0 — medan förklaringen i sig kallas alternativhypotesen, betecknad med HA. Det antas initialt att H0 är sant, och forskarens uppgift är att visa att data inte stöder denna slutsats.
Hypotesprovning
Vanligtvis är H0 och HA två ömsesidigt uteslutande påståenden – de kan inte båda vara sanna. De bör också vara uttömmande; det vill säga de bör täcka alla möjliga resultat av den experimentella undersökningen. Ett urval av data erhålls, mot vilket nollhypotesen kommer att testas. Urvalet måste vara tillräckligt stort för att giltiga slutsatser ska kunna dras och måste vara fritt från eventuella partiskheter som kan påverka resultatet.
Forskarna måste då fastställa ett värde, eller en eller flera uppsättningar värden, som inte skulle stödja H0. Om data visar sig stämma överens med dessa värden kommer nollhypotesen att förkastas och den alternativa hypotesen kan då sägas vara sannolikt. Testdata kan ofta representeras som en graf, med en topp i mitten och en ”svans” på vardera sidan. Vanligtvis kommer de flesta värdena för det som testas att samlas runt mitten av intervallet, och svansar av mot de låga och höga extremerna. Till exempel kommer en uppsättning mätningar av höjderna på ett stort urval av människor att visa majoriteten runt mitten av intervallet, och mindre siffror mot de mycket korta och mycket höga ändarna.
Det finns tre typer av tester som kan tillämpas på en uppsättning data. I ett högersidigt test har det fastställts att data som ligger över ett visst värde, känt som det kritiska värdet, inte stöder nollhypotesen; i ett vänstersidigt test ligger dessa data under det kritiska värdet; i ett tvåsidigt test ligger de data som inte stöder H0 över och under ett visst värde eller värdeintervall. Det är inte möjligt att helt motbevisa nollhypotesen; istället måste forskarna komma överens om en tolkning av uppgifterna utifrån hur troligt det är att H0 skulle avvisas när det faktiskt är sant. Denna sannolikhet är känd som signifikansnivån. Till exempel, om en viss andel av data ligger över det kritiska värdet i ett högersidigt test, kan detta indikera att det bara finns en 1% chans att H0 är sant.
Exempelvis
Ett läkemedelsföretag kan testa resultaten av en ny behandling för att minska kolesterolet. I detta fall skulle nollhypotesen vara att kolesterolnivåerna inte sänks efter att ha tagit läkemedlet, medan den alternativa hypotesen skulle vara att nivåerna minskar. H0 skulle antas vara sant, och forskare skulle sedan samla in data för att analyseras i ett försök att förkasta det.
Uppgifterna kan bestå av kolesterolmätningar i ett urval av personer före och efter att ha tagit läkemedlet, jämfört med ett liknande prov som inte tagit det, under samma period. Forskarna kan då komma överens om hur stor en minskning, och i vilken andel av provet som tagit drogen, som kan anses vara betydande. Denna information kan användas för att sätta ett kritiskt värde, såsom en minskning med 10 % hos 80 % av dem som tog drogen. Om data faller över dessa värden förkastas nollhypotesen och alternativhypotesen accepteras.