Det finns tre vanliga metoder för backtesting-strategier: att använda faktiska prisdata indelade i tre grupper; bootstrap, som använder faktiska prisdata men omsamplar dem; och Monte Carlo simulering. Det finns teoretiska frågor som delar systembyggare över vilken metod som är bäst. Vad som är viktigt för handlaren är att han korrekt använder minst en av backtesting-strategierna för sitt system innan han litar på sitt handelskapital till det. En kritisk fråga för att välja en backtesting-strategi är antalet affärer som genereras; minst 1,000 XNUMX affärer behövs i varje fas av systembyggarens arbete.
Att använda faktiska prisdata, uppdelat i tre delar, är den vanliga startpunkten för de flesta systembyggare. Systemet skapas med den första tredjedelen av datan. Vid det här laget har byggaren hittat algoritmer som verkar generera tillräckligt med vinst med tillräckligt liten risk för att erbjuda goda framtidsutsikter. Den andra tredjedelen av datan används för att optimera systemet.
Efter att systemet har optimerats kommer det att tillämpas på den återstående tredjedelen av datan. Detta kallas out-of-sample-testning, och det är där de flesta system misslyckas. Om systemet fortfarande har bra resultat över minst 1,000 1,000 affärer har systembyggaren ett fungerande system. Om systemet genererar färre än XNUMX XNUMX affärer i testet utanför provet, bör byggaren överväga en annan backtesting-strategi.
Bootstrapping är en metod för att dra en del data från den totala uppsättningen, testa, sätta tillbaka data och rita mer data, eller sampla om och testa om. Det ideala antalet omsamplingar är nn, eller n till n:te potens, där n är antalet data i det ursprungliga samplet. För en handlare som sannolikt har att göra med minst 2,500 250 datapunkter – 10 dagar om året under 100 år – är det inte praktiskt. Lyckligtvis kommer 100 omsamplingar att ge en hög nivå av förtroende för att bootstrap-provet kommer att spegla originaldata, vilket gör resultaten tillförlitliga. Om att ta 1,000 omsamplingar inte ger de nödvändiga XNUMX XNUMX avsluten, måste handlaren fortsätta omsamplingen tills det målet är uppnått om han förväntar sig att systemet, snarare än bara omsamplingen av data, ska vara tillförlitligt.
Den sista metoden för backtesting-strategier är Monte Carlo (MC)-simulering. Denna metod använder en dator för att generera simulerad data, och systemet testas sedan på dessa data. Fördelen med MC-simulering är att man kan skapa obegränsade mängder data, vilket gör att man kan generera 10,000 XNUMX affärer eller vilket antal affärer som helst. En annan fördel är att varje ny datamängd saknas. Detta ger möjlighet att göra upprepade optimerings- och testkörningar; optimera helt enkelt på denna datamängd och tillämpa sedan dessa systemparametrar på nästa data som datorn genererar.
En nackdel med MC-simulering är att data kanske inte har exakt samma sannolikhetsfördelningsfunktion som handelsdata har, vilket kan förvränga resultaten. I den bästa av alla möjliga världar bör alla tre backtestingstrategierna användas i processen för att kontrollera systemet. Framgång i alla tre bör erbjuda en mycket hög sannolikhet för framgång i verklig handel.