Perangkat lunak backtesting dirancang untuk mensimulasikan seberapa baik strategi perdagangan tertentu akan bekerja selama periode sebelumnya tertentu. Idenya adalah untuk memberikan beberapa wawasan tentang seberapa baik strategi yang sama akan bekerja di masa depan, meskipun menurut definisi ini hanya bisa menjadi prediksi. Kunci untuk memilih perangkat lunak backtesting yang benar termasuk menghindari kesalahan postdictive, mencari opsi penyesuaian, dan menghindari perangkat lunak yang diproduksi oleh orang yang sama yang menjual sistem perdagangan.
Aturan paling mendasar dalam memilih perangkat lunak backtesting adalah menggunakan paket yang memungkinkan Anda hanya menggunakan data yang akan tersedia pada saat itu. Tidak melakukan ini menciptakan masalah statistik yang dikenal sebagai kesalahan postdictive, yang berarti bahwa analisis tidak mencerminkan bagaimana sebenarnya seorang pedagang akan membuat keputusan dalam menjalankan strategi. Salah satu contohnya adalah jika perangkat lunak bekerja dengan harga penutupan saja; ini bukan situasi yang realistis, karena pada saat harga tersedia bagi pedagang hipotetis untuk membuat keputusan, pasar akan ditutup!
Cara paling akurat untuk menghindari kesalahan postdictive adalah dengan melakukan backtesting sepenuhnya secara manual. Karena ini biasanya tidak praktis efisien, penting untuk menggunakan perangkat lunak yang memungkinkan kustomisasi sebanyak mungkin. Umumnya, perangkat lunak yang lebih otomatis dan kaku, semakin besar kemungkinannya untuk memasukkan kesalahan postdictive.
Cara lain yang berguna untuk menggunakan perangkat lunak backtesting adalah dengan mencari aplikasi yang memudahkan untuk menjalankan kembali analisis dengan satu variabel diubah. Misalnya, seorang pedagang mungkin merencanakan strategi yang mencakup menjual saham apa pun yang telah kehilangan 35% nilainya. Aplikasi yang baik akan dapat dengan cepat menunjukkan perbedaan apa yang akan terjadi pada hasil jika pedagang malah menjual saham yang kehilangan 50% dari nilainya. Selain menguji apakah dasar-dasar suatu strategi tampak sehat, penyesuaian ini mempermudah pengujian strategi terhadap keterbatasan sifat manusia. Sementara seorang pedagang mungkin percaya bahwa penurunan 35% adalah “secara objektif” titik terbaik untuk menjual, dia mungkin menyadari bahwa jika dia melakukan strategi itu secara nyata, dia akan tergoda untuk membiarkan sahamnya jatuh lebih jauh dengan harapan pemulihan, hanya karena sulit untuk mengakui kekalahan.
Pedagang harus sangat waspada terhadap perangkat lunak backtesting apa pun yang diproduksi oleh perusahaan yang juga menjual saran tentang sistem perdagangan mana yang akan digunakan. Sebagian ini karena perusahaan semacam itu akan tergoda untuk menggunakan pengaturan backtesting yang dirancang khusus untuk menunjukkan bahwa sistem mereka berfungsi dengan baik. Tetapi bahkan ketika perusahaan tidak bertindak begitu sinis, mungkin saja keterbatasan perangkat lunak backtesting yang mereka gunakan telah memengaruhi pilihan strategi perdagangan yang direkomendasikan.