定義
過度擬合是指模型或交易規則被調校得過於貼合某段歷史樣本,以致捕捉到的是隨機雜訊而非可重複的規律,因此在過往數據上表現良好,在新數據上卻表現不佳。嘗試的參數愈多、測試的組合愈多,風險愈大。
運作方式
搜尋本身便會製造錯誤的發現。假設一條沒有真實優勢的規則,其 N 次獨立測試各有 5% 機會因運氣而顯得具統計顯著性,則至少有一次如此的機率為 1 − 0.95^N;當 N = 100 時為 99.4%。因此,眾多變體中表現最佳者,是對未來表現的有偏估計。
警號包括:結果依賴精確的參數值(尖銳的峰值而非寬闊的平台)、相對交易次數而言可調整的參數過多、缺乏經濟邏輯,以及在未動用的數據上表現崩潰。減少參數、檢驗參數穩定性、滾動前推測試,以及記錄嘗試的次數,皆有幫助。
公式/慣例
P(至少一次碰巧「成功」) = 1 − (1 − α)^N,適用於顯著水平為 α 的 N 次獨立測試
說明例子
假設示例:某研究者為一條沒有真實優勢的規則嘗試 100 種參數組合,並以 5% 顯著水平判斷結果。預期僅憑巧合便有約 100 × 5% = 5 種組合通過,因此勝出者亮麗的樣本內數字沒有理由在未動用的數據上重現。
注意事項
過度擬合只能降低,無法完全消除;而當你不斷調整規則直至在保留期間看起來理想時,該保留期間便不再獨立。從大量嘗試中挑選出來的結果,應相應打折看待。