Memvalidasi Strategi Perdagangan: Data, Eksekusi, dan Pengujian di Luar Sampel

Alur kerja praktis

1. Daftarkan hipotesis tersebutBekukan pasar, aturan, biaya, metrik, dan uji coba yang diizinkan.
2. Validasi inputPeriksa ketersediaan pada waktu tertentu, arti volume, semesta, dan stempel waktu.
3. Putar ulang secara kausalKonfirmasikan sinyal sebelum membuat pesanan dan mengizinkan eksekusi.
4. Batasi risikoTerapkan aturan ukuran posisi, margin, eksposur dan uji stres akibat gap harga.
5. Evaluasi dengan walk-forwardHapus label yang tumpang tindih, pilih berdasarkan validasi, dan bekukan setiap pengujian.
6. Laporkan bukti lengkapnyaPublikasikan hasil ablasi, uji stres, ketidakpastian, dan tingkat bukti.

Jawablah empat pertanyaan berbeda secara berurutan.

Pertama, apakah pola tersebut dapat dikenali secara konsisten? Kedua, apakah pola tersebut mengandung informasi bersyarat tentang hasil selanjutnya? Ketiga, apakah informasi tersebut dapat dikonversi menjadi pengembalian bersih akun yang positif dengan pesanan yang layak? Keempat, apakah hasilnya tetap konsisten pada data yang benar-benar belum pernah dilihat sebelumnya? Sebuah studi yang menjawab satu pertanyaan tidak boleh dianggap menjawab keempat pertanyaan tersebut.

Penelitian pola formal menunjukkan bagaimana pengenalan dan inferensi statistik dapat diselidiki. [1] Pola double top yang meyakinkan secara visual atau distribusi pengembalian yang berbeda secara statistik belum merupakan sistem perdagangan yang lengkap. Entri, keluar, biaya, ukuran posisi, dan himpunan peluang masih menentukan hasil ekonomi.

Buatlah kartu hipotesis sebelum memeriksa kinerja. Sertakan pasar yang memenuhi syarat, jangka waktu, kolom input, aturan pembentukan, penundaan konfirmasi, mekanisme masuk dan keluar, anggaran risiko, biaya, tolok ukur, metrik evaluasi, dan variasi parameter yang diizinkan. Kartu tersebut harus cukup tepat agar orang lain dapat mengimplementasikannya tanpa perlu menafsirkan estetika grafik.

Selain itu, definisikan juga hasil negatif yang bermanfaat. Misalnya, filter volume mungkin tidak menambahkan ekspektasi bersih tambahan setelah pencocokan paparan. Pencatatan hasil tersebut mencegah proses penelitian secara diam-diam mengganti pertanyaan asli setiap kali hasil yang diinginkan gagal.

1. Data titik waktu dan arti volume

Bedakan kapan suatu peristiwa terjadi, kapan data diterima, dan kapan strategi tersebut dapat menggunakannya. Stempel waktu pada grafik saja mungkin tidak cukup untuk mengungkapkan keterlambatan pengiriman data, koreksi, atau latensi publikasi. Simulasi historis harus merekonstruksi kumpulan informasi yang relevan daripada menggunakan basis data terbaru yang telah dikoreksi secara sembarangan.

Pertahankan pengenal instrumen yang stabil, catatan keanggotaan historis, dan catatan peristiwa perusahaan. Saham yang ada saat ini bukanlah keseluruhan saham yang dapat diinvestasikan di masa lalu. Tangani penghapusan pencatatan, penggunaan kembali kode saham, pencatatan baru, dan harga yang tidak tersedia secara eksplisit. Untuk tindakan korporasi, tanggal efektif dan tanggal pengumuman dapat menjawab pertanyaan ketersediaan yang berbeda.

Gunakan harga perdagangan mentah untuk eksekusi order dan konvensi penyesuaian yang terdokumentasi untuk sinyal. Rangkaian futures berkelanjutan mungkin berguna secara analitis, tetapi eksekusi order harus terjadi pada kontrak nyata dengan harga nyata. Transaksi rollover, pengali, dan tanggal kedaluwarsa kontrak tidak dapat disimpulkan dari grafik yang dihaluskan.

Volume bersifat spesifik pasar. Volume saham bursa, volume kontrak berjangka, jumlah tick FX, dan kuantitas yang diperdagangkan di platform kripto adalah pengukuran yang berbeda. Label seperti volume pembelian atau delta memerlukan metode klasifikasi yang sebenarnya; OHLCV biasa tidak mengungkapkan identitas peserta atau aliran pesanan di seluruh pasar.

Buat pengujian integritas untuk bar duplikat, interval yang hilang, hubungan OHLC yang tidak mungkin, volume negatif, dan diskontinuitas zona waktu. Pertahankan versi dataset dan log koreksi. Kode program yang dapat direproduksi dengan input yang berubah tanpa versi tidak menghasilkan eksperimen yang dapat direproduksi.

2. Waktu konfirmasi dan invariansi awalan

Titik pivot pada indeks i yang membutuhkan r bar ke kanan dikonfirmasi tidak lebih awal dari i+r. Lokasinya dapat digambar pada i untuk analisis, tetapi keputusan perdagangan tidak dapat dilakukan di sana secara retrospektif. Simpan occurred_at dan confirmed_at sebagai field terpisah dan jalankan dari timestamp yang tersedia kemudian.

Invariansi awalan adalah uji praktis: jalankan algoritma pada setiap awalan yang berkembang dalam kumpulan data dan bandingkan dengan peristiwa yang telah dikonfirmasi dan dipublikasikan. Penambahan observasi di masa mendatang tidak boleh mengubahnya. Kandidat sementara dapat berubah jika secara eksplisit diberi label sementara; sinyal historis yang telah dikonfirmasi harus tetap stabil di bawah input yang tidak berubah.

Input dengan jangka waktu lebih panjang memerlukan disiplin yang sama. Gabungkan nilai per jam yang telah selesai dengan strategi per menit hanya setelah pengamatan per jam tersedia. Nilai tertinggi, terendah, atau penutupan akhir dari jam yang belum selesai saat ini tidak dapat dimasukkan ke dalam keputusan per menit sebelumnya.

Lakukan normalisasi, parameter pengelompokan, dan model statistik pada partisi historis yang diizinkan. Sebuah penskala yang dilatih pada seluruh dataset membocorkan informasi distribusi di masa mendatang bahkan ketika setiap entri perdagangan individu ditunda dengan benar. Kausalitas berlaku untuk pra-pemrosesan maupun indikator.

Pengujian informatif sengaja mengubah harga dan volume di masa mendatang sambil mempertahankan awalan historis tetap. Jika sinyal yang dikonfirmasi sebelumnya berubah, lacak ketergantungannya daripada berasumsi bahwa platform grafik telah menyelesaikan masalah perubahan grafik secara otomatis.

3. Pesanan harus ada sebelum dapat dipenuhi.

Menggambarkan urutan dari sinyal hingga pembuatan pesanan, pengajuan, penerimaan, pemicu, pengisian sebagian, dan penyelesaian atau pembatalan. Latensi mungkin ada di setiap tahap. Sentuhan harga historis yang mendahului penerimaan pesanan bukanlah pengisian yang tersedia untuk pesanan tersebut.

Dokumentasi strategi platform membantu mengidentifikasi waktu emulator dan asumsi pesanan. [2] Mekanisme tersebut adalah konvensi simulator, bukan jaminan eksekusi bursa yang sebenarnya. Pesanan stop-market membatasi aktivasi, sementara harga akhirnya dapat berbeda; pesanan limit membatasi harga tetapi mungkin tidak terpenuhi. [3]

Bar OHLC tidak mengungkapkan urutan kejadian intrabar. Jika titik masuk, stop loss, dan target order semuanya berada dalam satu bar, gunakan data yang lebih rinci atau ungkapkan batasan hasil. Jangan memilih jalur mana pun yang meningkatkan strategi. Order yang sedang ditahan juga tidak dapat dibatalkan setelah mengamati eksekusi order yang tidak menguntungkan yang dimungkinkan oleh keberadaannya.

Modelkan pengisian sebagian dan kuantitas yang tertunda. Jika stop loss protektif dibuat hanya setelah entri, nyatakan berapa lama posisi dapat tetap tidak terlindungi. Jika entri dibalik sebelum selesai, sesuaikan eksposur aktual dan pesanan yang belum terselesaikan daripada mengasumsikan setiap target yang diminta telah tercapai.

Biaya mencakup komisi, spread, slippage, dampak pasar, pinjaman, dan pendanaan atau pembiayaan yang berlaku. Bebankan biaya tersebut pada waktu kontraktual yang sebenarnya. Jangan memberlakukan interval pendanaan universal pada semua produk kripto, dan jangan menambahkan spread lagi ketika harga bid/ask sudah menyertakannya.

4. Penentuan ukuran risiko harus menggunakan satuan yang konsisten.

Untuk instrumen linier, rumus ukuran yang diusulkan adalah q=floor(B/(abs(E−S)×multiplier+c_unit)), di mana B adalah anggaran kerugian kas, E adalah entri yang direncanakan, S adalah stop loss, dan c_unit adalah perkiraan biaya pulang pergi per unit. Konversi mata uang harus menempatkan pembilang dan penyebut dalam mata uang akun yang sama.

Rumus ini memperkirakan kerugian yang direncanakan; rumus ini tidak membatasi kerugian selisih harga. Kontrak invers, opsi, dan produk nonlinier memerlukan perhitungan imbal hasil tersendiri, bukan menggunakan rumus saham. Ukuran lot minimum dan margin broker dapat mengurangi jumlah yang layak lebih lanjut.

Pertimbangkan ekuitas sintetis $20,000 dan risiko 0.5%, menghasilkan B=$100. Dengan entri 100, stop loss 99.50 dan estimasi biaya $0.04 per saham, q=floor(100/0.54)=185. Kerugian yang direncanakan termasuk biaya tersebut adalah $99.90.

Jika transaksi keluar (exit) terjadi pada 99.20, maka kerugian harga adalah $148 dan perkiraan biaya yang sama adalah $7.40, sehingga totalnya menjadi $155.40. Laporan yang memangkas kerugian ini ke anggaran yang dimaksudkan sebesar $100 akan menghilangkan risiko eksekusi daripada mengukurnya.

Pada tingkat portofolio, cadangkan eksposur untuk pesanan terbuka, batasi risiko nominal bruto dan neto serta risiko korelasi agregat. Beberapa posisi kecil secara individual dapat merespons guncangan pasar yang sama. Laporkan risiko stop loss yang direncanakan dan kerugian yang diperkirakan terjadi di bawah pergerakan pasar yang merugikan secara simultan.

5. Evaluasi walk-forward, purging dan embargo

Pisahkan pengembangan, validasi, dan evaluasi berdasarkan waktu. Sesuaikan model pada data pelatihan, pilih pengaturan yang diizinkan menggunakan data validasi, lalu bekukan konfigurasi sebelum mengevaluasi segmen pengujian berikutnya. Mengulangi proses kronologis ini mengukur prosedur pembaruan, bukan pengaturan tunggal yang dipilih setelah mengetahui seluruh hasil.

Label dapat tumpang tindih dengan batas. Jika hasil contoh pelatihan meluas ke interval validasi atau pengujian, hapus contoh tersebut dari lipatan pelatihan. Demikian pula, label validasi yang digunakan untuk seleksi tidak boleh mencakup hasil dari interval pengujian. Catat awal dan akhir setiap label daripada menghapus sejumlah baris tetap yang diperkirakan.

Embargo mengecualikan pengamatan terdekat di mana desain validasi silang akan memungkinkan sampel pelatihan di masa mendatang untuk berbagi informasi dengan interval pengujian. Ini bukan pengganti universal untuk pemisahan kronologis dan tidak memperbaiki stempel waktu fitur yang salah. Presentasi penulis yang dikutip membahas mekanisme ini; ini bukan bukti bahwa setiap panjang embargo yang sembarang sudah cukup. [4]

Simpan kumpulan data holdout final tambahan jika riset berulang kali memeriksa hasil walk-forward. Setelah hasil itu mengarahkan revisi, hasil tersebut sudah memengaruhi pengembangan. Pilih konfigurasi final hanya dari informasi pengembangan, kemudian evaluasi satu kali pada data holdout yang terkunci dan laporkan tanpa tuning ulang.

Setiap transformasi yang dipasang harus berada di dalam lipatan: penskalaan, pemilihan fitur, ambang batas rezim, dan garis dasar volume yang memerlukan estimasi. Pemisahan label yang telah dibersihkan dengan cermat masih dapat bocor jika langkah pra-pemrosesan dipasang pada sampel lengkap.

6. Ablasi, beberapa percobaan dan uji stres

Ablasi menanyakan apa yang ditambahkan oleh setiap komponen. Bandingkan harga saja, harga ditambah RVOL, dan harga ditambah RVOL ditambah VWAP menggunakan semesta peluang, ukuran, dan asumsi eksekusi yang sama. Ubah logika masuk dan keluar secara terpisah ketika keduanya menggunakan indikator baru; jika tidak, sumber peningkatan tetap tidak jelas.

Buatlah registri percobaan yang mencakup ide-ide yang gagal, filter grafik manual, kerangka waktu, kumpulan data, kisi parameter, dan subkelompok pasar. Melaporkan hanya konfigurasi akhir yang berhasil akan menyembunyikan jumlah kesempatan yang dimiliki peneliti untuk menemukan hasil yang menguntungkan.

Rasio Sharpe yang Dideflasi membahas bias seleksi dan perilaku pengembalian non-normal berdasarkan asumsinya. [5] Ini bukan probabilitas bahwa suatu strategi akan menghasilkan laba dalam perdagangan nyata. Probabilitas Overfitting Backtest berkaitan dengan penurunan peringkat di seluruh partisi dalam kerangka kerjanya, bukan probabilitas langsung kehilangan modal akun. [6]

Uji stres biaya eksekusi pada kelipatan yang telah ditentukan sebelumnya seperti 1.5 dan 2, tunda entri selama satu bar, uji parameter terdekat, dan periksa ketergantungan pada lima perdagangan terbesar. Ini adalah uji sensitivitas yang diusulkan. Strategi tren secara alami bergantung pada pemenang besar; menghapusnya informatif tetapi bukan aturan lulus atau gagal otomatis.

Periksalah sensitivitas rezim dan kapasitas dengan pengamatan yang cukup untuk mendukung perbandingan. Membagi data menjadi banyak rezim kecil yang menguntungkan akan menciptakan masalah seleksi lain. Efek stabil yang sederhana setelah dikurangi biaya biasanya lebih meyakinkan daripada penjelasan rumit yang dibangun di sekitar beberapa periode pengecualian.

7. Metrik, harapan, dan tingkat bukti

Laporkan jumlah peluang, pesanan yang diajukan, eksekusi pesanan, transaksi yang selesai, dan hari-hari yang menguntungkan secara terpisah. Filter dapat meningkatkan tingkat kemenangan perdagangan sambil mengecualikan banyak peluang yang menguntungkan. Frekuensi hari yang menguntungkan bukanlah tingkat kemenangan perdagangan, dan juga tidak menentukan pengembalian yang diharapkan tanpa besaran keuntungan dan kerugian.

Hitung penurunan nilai dari rangkaian ekuitas yang dinilai berdasarkan harga pasar yang mencakup posisi terbuka dan biaya. Nyatakan frekuensi pengembalian untuk Sharpe daripada memperlakukan pengembalian perdagangan tidak teratur sebagai hal yang sama dengan pengembalian harian. Pertahankan perbedaan antara total pengembalian, CAGR, IRR yang sensitif terhadap arus kas, dan alpha regresi.

Strategi sintetis dengan probabilitas menang 0.40, rata-rata pemenang 2R, rata-rata pecundang 1R dan biaya 0.08R memiliki ekspektasi 0.40×2−0.60×1−0.08=0.12R. Tingkat kemenangan impasnya di bawah imbalan tetap tersebut adalah (1+0.08)/(2+1)=0.36.

Strategi sintetis lain yang memenangkan 65% transaksi, menghasilkan 0.5R pada transaksi yang menang dan merugi 1R pada transaksi lainnya dengan biaya yang sama memiliki ekspektasi 0.65×0.5−0.35×1−0.08=−0.105R. Oleh karena itu, tingkat kemenangan yang lebih tinggi dapat berdampingan dengan sistem yang merugi.

Sertakan kerugian ekstrem, durasi ekuitas berada di bawah puncak sebelumnya, perputaran, partisipasi, eksposur, dan interval ketidakpastian. Bedakan metode deskriptif, pengujian balik yang dilaporkan penulis, reproduksi kode dan data, tinjauan independen, perdagangan kertas ke depan, dan bukti langsung yang terverifikasi. Tahapan-tahapan ini menjawab pertanyaan yang semakin berbeda; tidak satu pun yang menyiratkan pengembalian di masa depan yang dijamin.

Publikasikan artefak yang dapat diperiksa oleh peneliti lain.

Arsipkan versi hipotesis, versi data masukan, registrasi uji coba, batas lipatan, peristiwa sinyal, peristiwa order, pengisian, biaya, dan perhitungan ekuitas. Tabel kinerja akhir tanpa buku besar perantara sulit didiagnosis ketika implementasi lain tidak setuju.

Alur kerja di bawah ini memisahkan periode pengembangan yang digunakan berulang kali dari tahap akhir yang belum diuji. Fungsinya adalah spesifikasi untuk diimplementasikan dan diuji, bukan bukti kebenaran yang dapat dieksekusi. Secara khusus, penghapusan harus memeriksa interval label dan eksekusi harus memperhatikan ketersediaan kejadian yang sebenarnya.

Paket ulasan yang bermanfaat mencakup setidaknya satu contoh yang berhasil, satu transaksi yang gagal, satu pesanan yang ditolak, dan satu kasus intrabar yang ambigu jika tersedia. Jelaskan cara simulator menangani masing-masing kasus tersebut. Ini memberikan bukti konkret bahwa aturan beroperasi secara konsisten ketika hasilnya tidak menguntungkan.

Bekukan metrik publikasi sebelum membaca data uji akhir. Jika hasil akhirnya mengecewakan, laporkan dan mulailah versi penelitian baru dengan rencana evaluasi baru. Mengedit berulang kali metode yang sama terhadap data uji yang sama akan menghancurkan bukti yang seharusnya diberikan oleh data uji tersebut.

spec = freeze_hypothesis_and_trial_registry()
data = load_versioned_point_in_time_inputs()
assert_data_integrity(data)
assert_confirmed_events_are_prefix_invariant(data)
development, final_test = split_chronologically_before_research(data)
for fold in chronological_folds(development, spec):
    train = purge_overlapping_labels(fold.train, fold.validation + fold.test)
    validation = purge_overlapping_labels(fold.validation, fold.test)
    model = fit_using_train_only(train)
    config = select_on_validation(model, validation)
    freeze(config)
    events = replay_causally(fold.test, config)
    fills = simulate_orders_after_available_at(events, spec.execution)
    equity = mark_to_market(fills, fees=spec.costs)
    archive_all_results(config, events, fills, equity)
final_config = freeze_selection_using_development_only()
evaluate_final_holdout_once(final_test, final_config)
report_net_metrics_ablations_stress_and_uncertainty()

Kesalahan umum

Daftar periksa sebelum menggunakan metode ini

Centang setiap butir setelah memverifikasinya pada data Anda. Kemajuan disimpan di browser ini; bukan sertifikasi bahwa strategi menghasilkan laba.

• Kartu hipotesis tersebut menentukan input, waktu, biaya, dan varian yang diizinkan.
• Setiap eksekusi mempertahankan versi sumber, hash data, dan hash konfigurasinya.
• Keanggotaan historis mempertahankan penghapusan daftar dan acara perusahaan di kemudian hari dengan waktu ketersediaan informasi yang tepat.
• Fitur-fitur, termasuk input dengan jangka waktu lebih panjang, hanya akan bergabung setelah stempel waktu ketersediaannya.
• Sinyal terkonfirmasi yang dipublikasikan lolos uji invariansi awalan.
• Setiap pengisian dilakukan setelah pembuatan dan penerimaan pesanan.
• Ambiguitas intrabar dan pengisian parsial memiliki penanganan yang terdokumentasi.
• Penentuan ukuran portofolio menggunakan pengali, mata uang, biaya, dan langkah kuantitas yang tepat; batasan portofolio dan kerugian selisih disesuaikan dengan ekuitas akun.
• Label pelatihan dan validasi akan dihapus jika tumpang tindih dengan interval evaluasi masing-masing, termasuk data uji akhir.
• Fit scaler dan proses pemilihan fitur hanya menggunakan data training.
• Semua konfigurasi yang dicoba muncul dalam registri uji coba.
• Ablasi volume dibandingkan berdasarkan asumsi paparan dan biaya yang setara.
• Penurunan ekuitas mencakup posisi terbuka dan semua biaya yang dimodelkan.
• Evaluasi data holdout final satu kali setelah seluruh pilihan pengembangan dibekukan.
• Periode pengujian yang digunakan untuk merevisi model menjadi data pengembangan dan tidak lagi diberi label sebagai data yang tidak tersentuh.
• Tingkat kemenangan harian dan per transaksi dibedakan, begitu pula IRR dan alpha.

Sumber riset

Setiap sumber mendukung definisi atau bukti yang dijelaskan di sampingnya. Pseudocode, contoh sintetis, dan parameter usulan perlu divalidasi secara terpisah.

1. Foundations of Technical Analysis: Computational Algorithms, Statistical Inference, and Empirical ImplementationAndrew W. Lo, Harry Mamaysky, Jiang Wang. Penelitian pengenalan pola dan inferensi statistik orisinal telah dibaca. Penelitian ini tidak menunjukkan profitabilitas untuk setiap aturan perpustakaan. Diperiksa: 2026-10-11.
2. Pine Script — StrategiesTradingView. Dokumentasi utama dibaca untuk memahami strategi pengaturan waktu pemesanan dan perilaku emulator broker, bukan sebagai model eksekusi bursa universal. Diperiksa: 2026-10-11.
3. Understanding Order Types — Investor BulletinU.S. SEC — Investor.gov. Buletin utama yang dibacakan untuk memahami mekanisme order pasar, order limit, dan order stop, serta batasan eksekusinya. Diperiksa: 2026-10-11.
4. MLX 2018 — The 7 Reasons Most Machine Learning Funds FailMarcos López de Prado — bản trình bày đăng trên SlideShare. Slide presentasi penulis dibaca untuk penghapusan dan embargo. Ini tidak mengklaim akses ke atau pembacaan buku lengkap tentang pembelajaran mesin keuangan. Diperiksa: 2026-10-11.
5. The Deflated Sharpe Ratio: Correcting for Selection Bias, Backtest Overfitting and Non-NormalityDavid H. Bailey, Marcos López de Prado — 2014. Makalah metodologi lengkap telah dibaca. Penyesuaian bias seleksinya memerlukan asumsi dan informasi uji coba; ini bukan probabilitas keuntungan langsung. Diperiksa: 2026-10-11.
6. The Probability of Backtest OverfittingBailey, Borwein, López de Prado, Zhu. Metodologi dibaca untuk CSCV dan PBO. Penurunan peringkat di luar sampel dibedakan dari probabilitas kehilangan uang. Diperiksa: 2026-10-11.

Metode terkait