Backtesting-mjukvara är utformad för att simulera hur väl en viss handelsstrategi skulle ha fungerat under en specifik tidigare period. Tanken är att ge lite insikt i hur väl samma strategi skulle fungera i framtiden, även om detta per definition bara kan vara en förutsägelse. Nycklar för att välja rätt programvara för backtesting inkluderar att undvika postdiktiva fel, leta efter anpassningsalternativ och undvika programvara som produceras av samma personer som säljer ett handelssystem.
Den mest grundläggande regeln för att välja mjukvara för backtesting är att använda paket som gör att du enbart kan använda data som skulle ha varit tillgänglig vid den tidpunkten. Att inte göra detta skapar ett statistiskt problem som kallas postdictive error, vilket innebär att analysen inte speglar hur en handlare faktiskt skulle ha fattat beslut när han genomförde en strategi. Ett exempel på detta skulle vara om programvaran endast fungerade med stängningspriser; detta är inte en realistisk situation, eftersom när det priset blev tillgängligt för den hypotetiska handlaren att ha fattat ett beslut, skulle marknaden ha stängt!
Det mest exakta sättet att undvika postdictive fel är att utföra backtesting helt manuellt. Eftersom detta vanligtvis inte är praktiskt effektivt är det viktigt att använda programvara som tillåter så mycket anpassning som möjligt. Generellt gäller att ju mer automatiserad och stel mjukvaran är, desto mer sannolikt är det att inkludera postdictive error.
Ett annat användbart sätt att använda baktestningsprogram är att leta efter applikationer som gör det enkelt att köra om analysen med en variabel ändrad. Till exempel kan en handlare planera en strategi som inkluderar att sälja alla aktier som har tappat 35 % av sitt värde. En bra applikation kommer snabbt att kunna visa vilken skillnad som skulle ha gjorts på resultatet om handlaren istället hade sålt någon aktie som tappat 50 % av sitt värde. Förutom att testa om grunderna i en strategi verkar bra, gör denna anpassning det lättare att testa en strategi mot begränsningarna i den mänskliga naturen. Medan en handlare kanske tror att fallet med 35 % är ”objektivt sett” den bästa punkten för att sälja, kan han inse att om han genomförde strategin på riktigt, skulle han bli frestad att låta aktien falla ytterligare i hopp om en återhämtning, helt enkelt för att det kan vara svårt att erkänna sig besegrad.
Handlare bör vara särskilt försiktiga med all backtesting-programvara som produceras av ett företag som också säljer råd om vilket handelssystem som ska användas. Detta beror delvis på att sådana företag kommer att frestas att använda en backtesting-uppsättning som är särskilt utformad för att visa att deras system fungerar bra. Men även när företag inte agerar så cyniskt, kan det vara så att begränsningarna för backtesting-mjukvaran de har använt har påverkat deras val av rekommenderad handelsstrategi.