Riset strategi yang terkendali
Overfitting backtest dan validasi holdout terkunci
Kurangi overfitting dengan log trial, urutan waktu, gap, holdout out-of-sample terkunci, serta aturan lulus yang ditulis sebelum evaluasi.
Jawaban singkat
Overfitting terjadi ketika banyak keputusan mempelajari kebetulan data historis, bukan perilaku yang bertahan. Pisahkan periode riset dari holdout yang lebih akhir, hitung seluruh trial, tulis kriteria lulus sebelum melihat holdout, dan buka hanya untuk kandidat yang sudah dibekukan.
Jika aturan diubah setelah holdout terlihat, periode itu sudah menjadi data riset dan bukan lagi bukti unseen. Holdout pun tidak menjamin kebenaran: sampel kecil, perubahan rezim, dan banyak kandidat masih dapat menghasilkan keberuntungan.
Konteks riset
Penelitian Bailey dan rekan tentang backtest overfitting menyoroti multiple testing: semakin banyak konfigurasi dicoba pada data terbatas, semakin mudah menemukan pemenang kebetulan. Jumlah trial harus dilaporkan bersama performance.
TimeSeriesSplit menjaga urutan kronologis dan menawarkan gap. Dalam trading, gap juga perlu mempertimbangkan lookback indikator, posisi overlap, label, dan keterlambatan operasi. Split yang baik tidak memperbaiki look-ahead atau fill yang tidak realistis.
Contoh pengaturan di Backtest
Gunakan BTCUSDT 1h selama 18 bulan. Kunci enam bulan terakhir sebagai holdout, sisakan gap tujuh hari, dan riset hanya pada periode sebelumnya. Coba grid kecil EMA fast 8/9/10 dengan slow 20/21/22: tepat sembilan trial.
Pertahankan modal USD10.000, size 2%, SL 2%, TP 4%, komisi 0,10%, slippage 5 bps, dan closed-candle. Pilih kandidat memakai scorecard pratulisan: minimum trades, hasil bersih, drawdown, konsentrasi outlier, dan stabilitas parameter tetangga. Simpan fingerprint sebelum membuka holdout sekali.
Cara membaca hasil
Jangan menuntut return riset dan holdout identik. Periksa apakah cadence, arah, sensitivitas biaya, profit factor, drawdown, average R, dan cluster kegagalan tetap masuk akal. Pembalikan tanda atau ketergantungan pada satu outlier biasanya alasan menolak.
Laporkan jumlah konfigurasi dan aturan seleksi. Lulus hanya berarti maju ke paper observation, bukan memakai uang nyata. Gagal harus tetap dicatat; hasil dengan terlalu sedikit trade disebut inconclusive dan menunggu data baru.
Kesalahan umum
- Mengacak observasi time series
- Melihat chart holdout saat memilih parameter
- Menyembunyikan trial dan hanya melaporkan winner
- Retune setelah gagal tetapi memakai holdout yang sama
- Holdout terlalu kecil
- Mengabaikan overlap, revisi data, biaya, atau fill
Daftar periksa praktis
- Tulis hipotesis, trial budget, dan rejection rule
- Tetapkan research, gap, serta holdout sebelum tuning
- Kunci data, timeframe, costs, sizing, dan exits
- Log semua konfigurasi
- Uji parameter neighborhood dan cost stress
- Snapshot kandidat sebelum holdout
- Evaluasi holdout sekali tanpa retune
- Bawa kandidat yang sama ke paper observation
Catatan risiko
Holdout mengurangi satu bentuk bias tetapi tidak menjamin profit atau keamanan. Backtest adalah alat riset edukatif, bukan nasihat atau platform eksekusi. Pasar berubah, sampel terbatas, dan spread, slippage, liquidity, gap, latency, outage, funding, serta keputusan manusia dapat berbeda secara material.
Panduan terkait
Kurangi overfitting dengan log trial, urutan waktu, gap, holdout out-of-sample terkunci, serta aturan lulus yang ditulis sebelum evaluasi.
Sumber riset
Backtest Trading untuk iOS
Lanjutkan riset di iPhone
Jalankan ulang pengaturan, periksa setiap transaksi simulasi, dan simpan bukti strategi di aplikasi.
Unduh di App Store