Strateji doğrulama: veriler, emir gerçekleşmesi ve örneklem dışı test

Uygulamalı iş akışı

1. Hipotezi kaydedinPiyasayı, kuralları, maliyetleri, ölçütleri ve izin verilen denemeleri dondurun.
2. Girişleri doğrulayınO anda geçmişte erişilebilirliği, hacmin anlamını, enstrüman kümesini ve zaman damgalarını kontrol edin.
3. Gelecek veri kullanmadan yeniden oynatınEmir oluşturmadan ve gerçekleşmeye izin vermeden önce sinyali onaylayın.
4. Riski sınırlandırınPozisyon boyutu, teminat, maruziyet ve fiyat boşluğu stres koşullarını uygulayın.
5. Walk-forward değerlendirmesi yapınÇakışan etiketleri temizleyin, doğrulamaya göre seçim yapın ve her testi dondurun.
6. Tüm kanıtları rapor edin.Ablasyon sonuçlarını, stres testlerini, belirsizliği ve kanıt düzeyini yayınlayın.

Dört farklı soruyu sırayla cevaplayın.

Önce formasyon tutarlı tanınabiliyor mu? Sonra, sonraki sonuçlar hakkında koşullu bilgi içeriyor mu? Ardından bu bilgi uygulanabilir emirlerle maliyet sonrası pozitif hesap getirisine dönüşebiliyor mu? Son olarak sonuç daha önce kullanılmamış verilerde sürüyor mu? Tek soruyu yanıtlayan çalışma, dört soruyu da yanıtlıyormuş gibi sunulmamalıdır.

Biçimsel örüntü araştırması, tanıma ve istatistiksel çıkarımın nasıl incelenebileceğini göstermektedir. [1] Görsel olarak ikna edici bir çift tepe veya istatistiksel olarak farklı bir getiri dağılımı henüz eksiksiz bir işlem sistemi değildir. Girişler, çıkışlar, maliyetler, pozisyon büyüklüğü ve fırsat kümesi hala ekonomik sonuçları belirlemektedir.

Performansı incelemeden önce bir hipotez kartı yazın. Uygun piyasayı, zaman dilimini, giriş alanlarını, oluşum kuralını, onay gecikmesini, giriş ve çıkış mekaniğini, risk bütçesini, maliyetleri, kıyaslama ölçütünü, değerlendirme ölçütünü ve izin verilen parametre varyasyonlarını ekleyin. Kart, grafik estetiğini yorumlamaya gerek kalmadan başka bir kişi tarafından uygulanabilecek kadar hassas olmalıdır.

Ayrıca yararlı bir olumsuz sonucu da tanımlayın. Örneğin, bir hacim filtresi, maruz kalma eşleştirmesinden sonra net beklentiye herhangi bir artış getirmeyebilir. Bu sonucu kaydetmek, tercih edilen bir sonuç başarısız olduğunda araştırma sürecinin orijinal soruyu sessizce değiştirmesini önler.

1. Geçmişte o anda erişilebilir veriler ve hacmin anlamı

Bir olayın ne zaman gerçekleştiğini, verilerin ne zaman alındığını ve stratejinin bunları ne zaman kullanabileceğini ayırt edin. Yalnızca bir zaman damgası, gecikmiş bir veri akışını, düzeltmeyi veya yayın gecikmesini ortaya çıkarmayabilir. Tarihsel simülasyonlar, en son düzeltilmiş veritabanını ayrım gözetmeksizin kullanmak yerine, ilgili bilgi kümesini yeniden oluşturmalıdır.

İstikrarlı enstrüman tanımlayıcılarını, geçmiş üyelik kayıtlarını ve kurumsal olay kayıtlarını tutun. Bugünün hayatta kalan hisseleri, dünün yatırım yapılabilir evreni değildir. Listeden çıkarmaları, hisse senedi kodunun yeniden kullanımını, yeni listelemeleri ve mevcut olmayan fiyatları açıkça ele alın. Kurumsal işlemler için, geçerlilik tarihleri ve duyuru tarihleri farklı kullanılabilirlik sorularını yanıtlayabilir.

İşlemler için ham alım satım fiyatlarını, sinyaller için ise belgelenmiş bir ayarlama kuralını kullanın. Sürekli bir vadeli işlem serisi analitik açıdan faydalı olabilir, ancak bir işlem gerçek bir sözleşmede gerçek bir fiyattan gerçekleşmelidir. İşlem devirleri, çarpanlar ve sözleşme vadesi, düzgün birleştirilmiş grafikten çıkarılamaz.

Hacim piyasaya özgüdür. Borsadaki hisse adedi, vadeli sözleşme adedi, FX tik sayısı ve belirli bir kripto borsasında işlem gören miktar farklı ölçümlerdir. Alım hacmi veya delta etiketi gerçek sınıflandırma yöntemi gerektirir; sıradan OHLCV katılımcı kimliğini ya da tüm piyasanın emir akışını göstermez.

Yinelenen çubuklar, eksik aralıklar, imkansız OHLC ilişkileri, negatif hacim ve zaman dilimi süreksizlikleri için bütünlük testleri oluşturun. Veri seti sürümlerini ve düzeltme kayıtlarını saklayın. Sürümlendirilmemiş girdilerle değişen, tekrarlanabilir bir kod tabanı, tekrarlanabilir bir deney üretmez.

2. Onay süreleri ve önek değişmezliği

i endeksinde bulunan ve sağında r çubuk gerektiren bir pivot noktası, en erken i+r noktasında onaylanır. Konumu analiz için i noktasında çizilebilir, ancak geriye dönük olarak orada bir işlem kararı verilemez. occurred_at ve confirmed_at alanlarını ayrı ayrı saklayın ve daha sonraki kullanılabilir zaman damgasından itibaren işlemi gerçekleştirin.

Önek değişmezliği pratik testtir: algoritmayı veri kümesinin giderek uzayan her başlangıç kesiminde çalıştırın ve yayımlanmış onaylı olayları karşılaştırın. Gelecekteki gözlemler bunları yeniden yazmamalıdır. Açıkça geçici etiketlenen adaylar değişebilir; değişmeyen girdiler altında onaylı geçmiş sinyaller sabit kalmalıdır.

Uzun zaman dilimli girdiler de aynı disiplini gerektirir. Tamamlanmış saatlik değeri dakika stratejisine ancak bu gözlem erişilebilir olduktan sonra ekleyin. Henüz bitmemiş saatin nihai tepe, dip veya kapanışı önceki dakika kararlarına verilemez.

Normalizasyon, kümeleme parametreleri ve istatistiksel modelleri izin verilen geçmiş bölüm üzerinde eğitin. Tüm veri kümesinde eğitilen ölçekleyici, her işlem girişi doğru geciktirilse bile gelecekteki dağılımı sızdırır. Nedensellik göstergeler kadar ön işleme için de geçerlidir.

Bilgilendirici bir test, geçmişe ait ön eki sabit tutarken gelecekteki fiyatları ve hacimleri kasıtlı olarak değiştirir. Daha önce onaylanmış bir sinyal değişirse, grafik platformunun yeniden çizim sorununu otomatik olarak çözdüğünü varsaymak yerine, bağımlılığı izleyin.

3. Gerçekleşmeden önce emir mevcut olmalıdır

Sinyal, emir oluşturma, gönderme, kabul, tetiklenme, kısmi gerçekleşme, tamamlanma veya iptal sırasını modelleyin. Her aşamada gecikme olabilir. Emir kabulünden önceki fiyat teması o emir için kullanılabilir gerçekleşme değildir.

Platform strateji belgeleri emülatörün zaman ve emir varsayımlarını açıklar. [2] Bunlar simülatör kurallarıdır, gerçek borsa gerçekleşmesinin garantisi değildir. Stop piyasa emri tetiklenme koşulunu belirler; nihai fiyat farklı olabilir. Limit emri fiyatı sınırlar fakat gerçekleşmeyebilir. [3]

OHLC çubukları, çubuk içi olayların sırasını göstermez. Giriş, stop ve hedef noktalarının hepsi aynı çubuk içinde yer alıyorsa, daha ayrıntılı veriler kullanın veya sonuç sınırlarını açıklayın. Stratejiyi iyileştiren yolu seçmeyin. Ayrıca, varlığına izin verdiği olumsuz dolum gözlemlendikten sonra, bekleyen bir emir iptal edilemez.

Kısmi dolumları ve bekleyen miktarları modelleyin. Koruyucu stop emri yalnızca girişten sonra oluşturuluyorsa, pozisyonun ne kadar süreyle korumasız kalabileceğini belirtin. Giriş tamamlanmadan önce tersine çevrilirse, talep edilen her hedefe ulaşıldığını varsaymak yerine, gerçek risk ve bekleyen emirleri karşılaştırın.

Maliyetlere komisyon, spread, kayma, piyasa etkisi, ödünç alma ve geçerli fonlama veya finansman dahildir. Bunları sözleşmede belirlenen gerçek tahakkuk zamanlarında işleyin. Tüm kripto ürünlerine aynı fonlama aralığını dayatmayın; bid/ask üzerinden gerçekleşmeler spreadi zaten içeriyorsa tekrar eklemeyin.

4. Risk boyutlandırmasında tutarlı birimler kullanılmalıdır.

Doğrusal bir enstrüman için önerilen boyut formülü q=floor(B/(abs(E−S)×multiplier+c_unit))'dir; burada B nakit kaybı bütçesi, E planlanan giriş, S durdurma noktası ve c_unit birim başına tahmini gidiş-dönüş maliyetidir. Para birimi dönüşümlerinde pay ve payda aynı hesap para biriminde olmalıdır.

Formül planlanan kaybı tahmin eder; fiyat boşluğundan doğan kaybı sınırlamaz. Ters sözleşmeler, opsiyonlar ve doğrusal olmayan ürünler hisse formülünü kullanmak yerine kendi getiri hesaplarını gerektirir. Asgari lot ve aracı kurum teminatı uygulanabilir miktarı daha da azaltabilir.

Varsayımsal hesap sermayesi $20,000 ve risk 0.5% ise B=$100 olur. Giriş 100, stop 99.50 ve hisse başına tahmini maliyet $0.04 olduğunda q=floor(100/0.54)=185. Bu maliyet dahil planlanan kayıp $99.90 olur.

Çıkış 99.20 fiyatından gerçekleşirse fiyat kaybı $148, aynı tahmini maliyet $7.40 ve toplam kayıp $155.40 olur. Raporda kaybı hedeflenen $100 bütçesiyle sınırlamak gerçekleşme riskini ölçmek yerine gizler.

Portföy düzeyinde, açık emirler için rezerv pozisyonunu belirleyin, brüt ve net nominal değerleri sınırlayın ve ilişkili riskleri toplayın. Birkaç küçük pozisyon aynı piyasa şokuna tepki verebilir. Eş zamanlı olumsuz hareketler altında hem planlanan stop loss riskini hem de stresli kayıpları raporlayın.

5. Walk-forward değerlendirmesi, purging ve embargo

Geliştirme, doğrulama ve değerlendirmeyi zamanla ayırın. Modelleri eğitim verisinde eğitin, izin verilen ayarları doğrulama verisiyle seçin ve sonraki test diliminden önce yapılandırmayı sabitleyin. Bu kronolojik sürecin tekrarı, geriye bakarak seçilen tek ayarı değil güncelleme prosedürünü ölçer.

Etiket aralıkları sınırları aşabilir. Eğitim örneğinin sonucu doğrulama veya test dönemine uzanıyorsa örneği eğitim bölümünden çıkarın. Seçimde kullanılan doğrulama etiketleri de test dönemi sonuçlarını içermemelidir. Tahmini sabit sayıda satır silmek yerine her etiketin başlangıç ve bitişini kaydedin.

Bir ambargo, çapraz doğrulama tasarımının aksi takdirde gelecekteki eğitim örneklerinin bir test aralığıyla bilgi paylaşmasına izin vereceği yakın gözlemleri dışlar. Kronolojik ayrımın evrensel bir alternatifi değildir ve yanlış özellik zaman damgalarını düzeltmez. Alıntı yapılan yazar sunumu bu mekanizmaları tartışmaktadır; her keyfi ambargo uzunluğunun yeterli olduğuna dair bir kanıt değildir. [4]

Araştırma walk-forward sonuçlarını tekrar tekrar inceliyorsa ayrıca son, ayrılmış ve dokunulmamış test kümesi tutun. Sonuçlar değişiklikleri yönlendirdiğinde geliştirmeyi etkilemiş olur. Nihai yapılandırmayı yalnızca geliştirme bilgisiyle seçin; ardından kilitli son test kümesini bir kez değerlendirin ve yeniden ayarlamadan raporlayın.

Öğrenilen her dönüşüm ilgili veri bölünmesinin içinde eğitilmelidir: ölçekleyiciler, özellik seçimi, rejim eşikleri ve tahmin gerektiren hacim tabanları. Ön işleme tüm örneklemde eğitilmişse etiket aralıklarının dikkatle temizlenmesi bile sızıntıyı engellemez.

6. Ablasyon, çoklu denemeler ve stres testleri

Ablasyon, her bir bileşenin ne kattığını sorgular. Aynı fırsat evreni, boyutlandırma ve işlem varsayımlarını kullanarak yalnızca fiyatı, fiyat artı RVOL'yi ve fiyat artı RVOL artı VWAP'yi karşılaştırın. Her ikisi de yeni göstergeyi kullanıyorsa giriş ve çıkış mantığını ayrı ayrı değiştirin; aksi takdirde iyileşmenin kaynağı belirsiz kalır.

Başarısız fikirleri, manuel grafik filtrelerini, zaman dilimlerini, veri kümelerini, parametre tablolarını ve pazar alt kümelerini içeren bir deneme kaydı tutun. Yalnızca son başarılı yapılandırmayı raporlamak, araştırmacının şanslı bir sonuç keşfetme şansının sayısını gizler.

Deflated Sharpe Ratio, varsayımları altında seçim yanlılığını ve getirilerin normal dağılmamasını ele alır. [5] Stratejinin gerçek işlemlerde para kazanma olasılığı değildir. Probability of Backtest Overfitting, kendi çerçevesindeki veri bölümleri arasında sıra kötüleşmesini inceler; hesap sermayesini kaybetmenin doğrudan olasılığı değildir. [6]

1.5 ve 2 gibi önceden belirlenmiş katlarda stres uygulama maliyetlerini test edin, girişleri bir çubuk geciktirin, yakındaki parametreleri test edin ve en büyük beş işleme olan bağımlılığı inceleyin. Bunlar önerilen duyarlılık testleridir. Bir trend stratejisi doğal olarak büyük kazançlara dayanır; bunları silmek bilgilendiricidir ancak otomatik bir geçme veya kalma kuralı değildir.

Karşılaştırmayı destekleyecek yeterli sayıda gözlemle rejim ve kapasite duyarlılığını inceleyin. Verileri birçok küçük elverişli rejime bölmek başka bir seçim sorununa yol açar. Maliyetlerden sonra elde edilen basit ve istikrarlı bir etki, genellikle birkaç istisnai döneme dayalı ayrıntılı bir açıklamadan daha ikna edicidir.

7. Ölçütler, beklenti ve kanıt düzeyleri

Fırsatları, gönderilen emirleri, gerçekleşmeleri, tamamlanan işlemleri ve kârlı günleri ayrı sayın. Filtre, birçok kârlı fırsatı dışlayarak işlem kazanma oranını artırabilir. Kârlı gün sıklığı işlem kazanma oranı değildir; kazanç ve kayıp büyüklükleri olmadan ikisi de beklenen getiriyi belirlemez.

Açık pozisyonları ve maliyetleri içeren, piyasa fiyatlarıyla değerlenmiş hesap değeri serisinden zirveden düşüşü hesaplayın. Düzensiz işlem getirilerini günlük getirilerle aynı kabul etmek yerine, Sharpe hesabında kullanılan getiri sıklığını belirtin. Toplam getiri, CAGR, nakit akışlarına duyarlı IRR ve regresyon alfası arasındaki ayrımı koruyun.

Kazanma olasılığı 0.40, ortalama kazanan 2R, ortalama kaybeden 1R ve maliyeti 0.08R olan sentetik bir stratejinin beklenen değeri 0.40×2−0.60×1−0.08=0.12R'dir. Bu sabit ödemeler altında başa baş kazanma oranı (1+0.08)/(2+1)=0.36'dir.

Aynı maliyetle işlemlerin 65% oranında kazanan, kazançta 0.5R elde eden ve diğer durumlarda 1R kaybeden varsayımsal stratejinin beklenen değeri 0.65×0.5−0.35×1−0.08=−0.105R olur. Daha yüksek kazanma oranı bu yüzden zarar eden sistemle birlikte bulunabilir.

Kuyruk kayıplarını, sermayenin önceki zirvesi altında kaldığı süreyi, portföy devrini, işlem hacmine katılımı, pozisyon maruziyetini ve belirsizlik aralıklarını dahil edin. Yöntem açıklaması, yazarın bildirdiği geriye dönük test, kod ve veriyle yeniden üretim, bağımsız inceleme, ileriye dönük sanal işlem ve doğrulanmış gerçek işlem kanıtını ayırın. Bunlar farklı soruları yanıtlar; hiçbiri gelecek getiriyi garanti etmez.

Başka araştırmacının inceleyebileceği çıktıları yayımlayın

Hipotez ve veri sürümlerini, deneme kaydını, veri bölünme sınırlarını, sinyal ve emir olaylarını, gerçekleşmeleri, maliyetleri ve hesap sermayesi hesaplarını arşivleyin. Ara kayıtlar olmadan başka uygulamanın farklı sonuç verdiği nihai performans tablosunu teşhis etmek zordur.

Aşağıdaki süreç tekrar kullanılan geliştirme dönemini son ayrılmış test kümesinden ayırır. Fonksiyonlar uygulanıp test edilecek tanımlardır, çalıştırılabilir doğruluk kanıtı değildir. Özellikle purging etiket aralıklarını kontrol etmeli ve emir gerçekleşmesi olayın gerçek erişilebilirliğine uymalıdır.

Faydalı bir inceleme paketi, mümkünse en az bir başarılı örnek, bir başarısız işlem, bir reddedilen emir ve bir belirsiz bar içi vaka içermelidir. Simülatörün her birini nasıl ele aldığını açıklayın. Bu, sonuçlar elverişsiz olduğunda kuralların tutarlı bir şekilde işlediğine dair somut kanıt sağlar.

Son ayrılmış test kümesini incelemeden önce yayımlanacak metrikleri sabitleyin. Nihai sonuç hayal kırıklığıysa raporlayın ve yeni değerlendirme planıyla yeni araştırma sürümü başlatın. Aynı yöntemi aynı sözde dokunulmamış kümeye göre tekrar değiştirmek, kümenin sağlaması gereken kanıtı yok eder.

spec = freeze_hypothesis_and_trial_registry()
data = load_versioned_point_in_time_inputs()
assert_data_integrity(data)
assert_confirmed_events_are_prefix_invariant(data)
development, final_test = split_chronologically_before_research(data)
for fold in chronological_folds(development, spec):
    train = purge_overlapping_labels(fold.train, fold.validation + fold.test)
    validation = purge_overlapping_labels(fold.validation, fold.test)
    model = fit_using_train_only(train)
    config = select_on_validation(model, validation)
    freeze(config)
    events = replay_causally(fold.test, config)
    fills = simulate_orders_after_available_at(events, spec.execution)
    equity = mark_to_market(fills, fees=spec.costs)
    archive_all_results(config, events, fills, equity)
final_config = freeze_selection_using_development_only()
evaluate_final_holdout_once(final_test, final_config)
report_net_metrics_ablations_stress_and_uncertainty()

Yaygın hatalar

Bu yöntemi kullanmadan önce kontrol listesi

Her maddeyi kendi verilerinizle doğruladıktan sonra işaretleyin. İlerleme bu tarayıcıda saklanır; stratejinin kârlı olduğunu belgelemez.

• Hipotez kartı girdileri, zamanlamayı, maliyetleri ve izin verilen varyantları belirtir.
• Her çalıştırma, kaynak sürümünü, veri özetini ve yapılandırma özetini korur.
• Geçmişe dönük üyelik kayıtları, daha sonraki listeden çıkarmaları ve kurumsal etkinlikleri doğru bilgi erişilebilirliği zamanlamasıyla birlikte korur.
• Daha uzun zaman aralıklı girdiler de dahil olmak üzere özellikler, yalnızca kullanılabilirlik zaman damgalarından sonra eklenir.
• Yayınlanan doğrulanmış sinyaller, önek değişmezliği testlerinden geçmiştir.
• Her gerçekleşme emir oluşturulduktan ve kabul edildikten sonra olur.
• Bar içi belirsizlik ve kısmi gerçekleşme işlemleri belgelenmiştir.
• Pozisyon boyutu doğru çarpan, para birimi, ücret ve miktar adımını kullanır; portföy sınırları ve fiyat boşluğu kayıpları hesap sermayesiyle mutabıktır.
• Eğitim ve doğrulama etiketleri, son test verisi de dahil olmak üzere, ilgili değerlendirme aralıklarıyla örtüştüğünde silinir.
• Ölçekleyiciler ve özellik seçimi yalnızca eğitim verisinde eğitilir.
• Denenen tüm yapılandırmalar deneme kayıt defterinde görünür.
• Hacimsel ablasyonlar, eşdeğer maruz kalma ve maliyet varsayımları altında karşılaştırılmıştır.
• Öz sermaye düşüşü, açık pozisyonları ve modellenen tüm maliyetleri içerir.
• Son ayrılmış test kümesi, geliştirme tercihleri sabitlendikten sonra yalnızca bir kez değerlendirilir.
• Modelin revize edilmesi için kullanılan test dönemi, geliştirme verisi haline gelir ve artık "dokunulmamış" olarak etiketlenmez.
• Günlük ve işlem başına kazanma oranları, IRR ve alfa değerleri gibi birbirinden ayrı olarak belirtilmiştir.

Araştırma kaynakları

Her kaynak, yanında açıklanan tanımı veya kanıtı destekler. Sözde kod, sentetik örnekler ve önerilen parametreler ayrı ayrı doğrulanmalıdır.

1. Foundations of Technical Analysis: Computational Algorithms, Statistical Inference, and Empirical ImplementationAndrew W. Lo, Harry Mamaysky, Jiang Wang. Özgün formasyon tanıma ve istatistiksel çıkarım araştırması incelendi; kütüphanedeki her kuralın kârlılığını göstermez. Kontrol tarihi: 2026-10-11.
2. Pine Script — StrategiesTradingView. Strateji emri zamanlaması ve aracı kurum emülatörünün davranışı için okunan birincil dokümantasyon; evrensel bir borsa işlem modeli olarak değil. Kontrol tarihi: 2026-10-11.
3. Understanding Order Types — Investor BulletinU.S. SEC — Investor.gov. Piyasa, limit ve stop emirlerinin işleyişi ile gerçekleşme sınırları için birincil bülten incelendi. Kontrol tarihi: 2026-10-11.
4. MLX 2018 — The 7 Reasons Most Machine Learning Funds FailMarcos López de Prado — bản trình bày đăng trên SlideShare. Purging ve embargo için yazarın sunum slaytları incelendi. Finansal makine öğrenimi kitabının tamamına erişildiği veya tamamının okunduğu iddia edilmez. Kontrol tarihi: 2026-10-11.
5. The Deflated Sharpe Ratio: Correcting for Selection Bias, Backtest Overfitting and Non-NormalityDavid H. Bailey, Marcos López de Prado — 2014. Metodolojik makalenin tamamı incelendi. Seçim yanlılığı düzeltmesi varsayım ve deneme bilgisi gerektirir; gerçek işlemlerde kâr olasılığı değildir. Kontrol tarihi: 2026-10-11.
6. The Probability of Backtest OverfittingBailey, Borwein, López de Prado, Zhu. CSCV ve PBO için okunan metodoloji. Örneklem dışı sıralama bozulması, para kaybetme olasılığından ayrı tutulmuştur. Kontrol tarihi: 2026-10-11.

İlgili yöntemler