Quy trình nghiên cứu có kiểm soát
Overfitting trong backtest và kiểm định holdout đã khóa
Giảm overfitting bằng nhật ký trial, cửa sổ thời gian tuần tự, gap, holdout ngoài mẫu đã khóa và tiêu chí pass/fail viết trước.
Trả lời nhanh
Overfitting xuất hiện khi nhiều lựa chọn học thuộc nhiễu của dữ liệu lịch sử thay vì một hành vi bền. Hãy tách giai đoạn nghiên cứu khỏi holdout muộn hơn, đếm mọi trial, viết điều kiện đạt trước khi xem holdout và chỉ mở nó cho candidate đã đóng băng.
Nếu bạn chỉnh rule sau khi xem holdout, cửa sổ đó đã trở thành dữ liệu nghiên cứu và không còn là bằng chứng ngoài mẫu. Holdout cũng không phải phép màu: sample nhỏ, regime mới hoặc nhiều lần chọn candidate vẫn có thể tạo kết quả may mắn.
Bối cảnh nghiên cứu
Nghiên cứu của Bailey và cộng sự về backtest overfitting nhấn mạnh multiple testing: càng thử nhiều cấu hình trên dữ liệu hữu hạn, càng dễ chọn nhầm một winner do ngẫu nhiên. Vì vậy số trial phải xuất hiện bên cạnh performance.
TimeSeriesSplit giữ đúng thứ tự thời gian và có gap giữa tập train/test; trong trading, gap còn phải xét indicator lookback, vị thế chồng lấn và độ trễ vận hành. Split tốt cũng không cứu được look-ahead, dữ liệu chart phi chuẩn hoặc fill phi thực tế.
Ví dụ thiết lập trong Backtest
Dùng ví dụ BTCUSDT 1h trong 18 tháng. Khóa 6 tháng cuối làm holdout, để gap 7 ngày, và chỉ nghiên cứu trên phần trước. Thử lưới nhỏ EMA fast 8/9/10 với slow 20/21/22: đúng 9 trial được ghi lại.
Giữ vốn 10.000 USD, size 2%, SL 2%, TP 4%, commission 0,10%, slippage 5 bps và closed-candle cố định. Chọn một candidate bằng scorecard đã viết trước gồm minimum trades, net result, drawdown, outlier concentration và độ ổn định của tham số lân cận. Lưu fingerprint rồi mới chạy đúng một lần trên holdout.
Cách đọc kết quả
Không đòi return research và holdout giống hệt nhau. Hãy kiểm tra cadence, direction, cost sensitivity, profit factor, drawdown, average R và failure clusters còn hợp lý không. Đảo dấu kết quả, biến mất trade hoặc phụ thuộc một outlier thường là lý do loại.
Báo cáo số cấu hình đã thử và quy tắc chọn. Pass chỉ có nghĩa là chuyển sang paper observation, không phải cấp phép dùng vốn thật; fail phải được giữ lại. Nếu không đủ trade, ghi là inconclusive và chờ dữ liệu mới thay vì hạ tiêu chuẩn.
Sai lầm thường gặp
- Shuffle ngẫu nhiên chuỗi thời gian
- Xem chart holdout trong lúc chọn parameter
- Ẩn số trial và chỉ báo winner
- Retune sau khi fail nhưng vẫn gọi cùng cửa sổ là out-of-sample
- Dùng holdout quá nhỏ
- Bỏ qua overlap, data revision, costs hoặc fill assumptions
Danh sách kiểm tra thực hành
- Viết hypothesis, trial budget và rejection rule
- Chia research, gap và holdout trước tuning
- Khóa data, timeframe, costs, sizing và exits
- Ghi mọi configuration kể cả fail
- Kiểm tra parameter neighborhood và cost stress
- Chụp hoặc hash candidate trước holdout
- Mở holdout một lần và không retune
- Chỉ đưa candidate nguyên trạng sang paper observation
Lưu ý rủi ro
Holdout giảm một dạng thiên lệch nhưng không chứng nhận lợi nhuận hoặc an toàn tương lai. Backtest là công cụ nghiên cứu giáo dục, không phải tư vấn hoặc nền tảng thực thi. Thị trường thay đổi, sample hữu hạn, còn spread, slippage, liquidity, gap, latency, outage, funding và hành vi con người có thể khác đáng kể.
Hướng dẫn liên quan
Giảm overfitting bằng nhật ký trial, cửa sổ thời gian tuần tự, gap, holdout ngoài mẫu đã khóa và tiêu chí pass/fail viết trước.
Nguồn nghiên cứu
Backtest Trading cho iOS
Tiếp tục nghiên cứu trên iPhone
Chạy lại thiết lập, xem từng giao dịch mô phỏng và lưu bằng chứng nghiên cứu trong ứng dụng.
Tải trên App Store