バイアス管理と検証

概要

ルックアヘッド・バイアスとは、売買判断の時点では入手できなかったはずの情報を戦略が使用してしまうことです。最も一般的な形は、バーTの終値でシグナルを生成し、同じバーTの終値で取引を執行するというものです。現実には、終値はバーが終了した後にしか分からず、その時点で市場はすでに閉まっています。

当社が防止しているその他のルックアヘッド・バイアス

• バーTの高値・安値でストップを発動させる — これらはバー終了後にしか分かりません
• 「将来」の期間を用いて計算された指標（例：中心化移動平均）
• ローリングの最小値・最大値ではなく、全データセットの最小値・最大値による正規化
• 全期間で最適化した戦略パラメータを、同じ期間でテストすること
• 発表日より前に実際のEPSを使用した決算サプライズのシグナル

サバイバーシップ・バイアスとは、バックテストが現在も取引所に上場している銘柄のみを対象にすることで生じます。テスト期間中に破綻、買収、上場廃止となった企業は、当時は有効な取引候補であったにもかかわらず除外されます。その結果、すべての「敗者」がデータセットから静かに取り除かれるため、過去のリターンは実際よりはるかに良く見えます。

オーバーフィッティングとは、戦略が過去データに対して過度に最適化され、一般化できるルールを学習するのではなく、過去を事実上「記憶」してしまった状態です。12個のパラメータをすべて3年分のデータで調整した戦略は、素晴らしい過去の成績を示しますが、実運用ではすぐに機能しなくなります。

オーバーフィッティングの検出と防止方法

セレクション・バイアスとは、どの銘柄をバックテストするかの選択が、意識的かどうかにかかわらず、その銘柄の過去の成績に関する知識に左右されることで生じます。過去10年間の最大の勝ち組銘柄だけでモメンタム戦略をテストすれば、偏った結果になります。

最適化バイアスは、オーバーフィッティングの特定の形態です。何百ものパラメータの組み合わせをグリッドサーチして最良のものを選ぶとき、見つかるのは「真の」最適パラメータではなく、ランダムなノイズによってたまたまその特定の過去期間で最も良く機能したパラメータです。

当社の最適化ルール

• ● 戦略パラメータは、インサンプルのバックテストを実行する前に設定する
• ● 最適化を行う場合は、訓練セットのみで実施し、検証セットでは決して行わない
• ● 読者が堅牢性を確認できるよう、ピークだけでなく最適化曲面も報告する
• ● 狭いピークではなく、平坦な高原に位置するパラメータ値を優先する
• ● ウォークフォワード最適化：パラメータを定期的に再最適化し、実際の適応的な運用を模擬する

アウトオブサンプル（OOS）テストは、最も重要な検証ステップです。戦略を訓練セットで開発・最適化した後、完全に切り離されたホールドアウト期間で1回だけテストします。OOSの結果を戦略の更なる改良に使うことはできません。使ってしまえば、そのホールドアウトはもはや真のアウトオブサンプルではなくなります。

ウォークフォワードテスト

ウォークフォワードテストは、実際のトレーダーが定期的に戦略を再最適化する様子を模擬する、より高度なOOSテストです。固定された1回の訓練/テスト分割の代わりに、ローリングウィンドウを使用します。最初のN本のバーで最適化し、次のM本のバーでテストし、M本分進めて、これを繰り返します。