편향 통제와 검증

개념

룩어헤드 편향은 매매 결정을 내리는 시점에는 알 수 없었던 정보를 전략이 사용할 때 발생합니다. 가장 흔한 형태는 T번째 봉의 종가로 신호를 만들고, 같은 T번째 봉의 종가에 거래를 체결하는 것입니다. 현실에서 종가는 봉이 마감된 후에야 알 수 있으며, 그 시점에는 이미 시장이 닫혀 있습니다.

저희가 방지하는 그 밖의 룩어헤드 편향 유형

• T번째 봉의 고가/저가로 손절을 발동 — 이 값들은 봉이 마감된 후에야 알 수 있습니다
• "미래" 구간을 사용해 계산한 지표 (예: 중심 이동평균)
• 롤링 최소/최대값이 아닌 전체 데이터셋의 최소/최대값을 사용한 정규화
• 전체 기간에서 최적화한 전략 파라미터를 같은 기간에서 테스트
• 발표일 이전에 실제 EPS를 사용한 어닝 서프라이즈 신호

생존자 편향은 백테스트가 현재 거래소에 상장되어 있는 종목만 포함할 때 발생합니다. 테스트 기간 중 파산했거나, 인수되었거나, 상장폐지된 기업은 당시에는 유효한 거래 대상이었음에도 제외됩니다. 그 결과 모든 "패자"가 데이터셋에서 조용히 사라지기 때문에, 과거 수익률이 실제보다 훨씬 좋아 보입니다.

과최적화는 전략이 과거 데이터에 지나치게 최적화되어, 일반화할 수 있는 규칙을 학습하는 대신 사실상 과거를 "암기"했을 때 발생합니다. 12개의 파라미터를 모두 3년치 데이터로 조정한 전략은 화려한 과거 성과를 보여주지만, 실전 매매에서는 곧바로 실패합니다.

과최적화를 탐지하고 방지하는 방법

선택 편향은 어떤 종목을 백테스트할지의 선택이, 의식적이든 아니든 해당 종목의 과거 성과에 대한 지식에 영향을 받을 때 발생합니다. 지난 10년간 가장 크게 오른 종목들에서만 모멘텀 전략을 테스트하면 편향된 결과가 나옵니다.

최적화 편향은 과최적화의 한 특수한 형태입니다. 수백 가지 파라미터 조합에 대해 그리드 서치를 실행해 가장 좋은 것을 고르면, 찾은 것은 "진짜" 최적 파라미터가 아니라 무작위 노이즈 때문에 그 특정 과거 기간에서 우연히 가장 잘 작동한 파라미터입니다.

저희의 최적화 규칙

• ● 전략 파라미터는 표본 내 백테스트를 실행하기 전에 정한다
• ● 최적화를 사용하는 경우 훈련 세트에서만 수행하며, 검증 세트에서는 절대 수행하지 않는다
• ● 독자가 견고성을 확인할 수 있도록 최고점뿐 아니라 최적화 곡면도 보고한다
• ● 좁은 봉우리가 아닌 평평한 고원에 위치한 파라미터 값을 선호한다
• ● 워크포워드 최적화: 파라미터를 주기적으로 다시 최적화하여 실제 적응형 운용을 모사한다

표본 외(OOS) 테스트는 가장 중요한 검증 단계입니다. 전략을 훈련 세트에서 개발하고 최적화한 후, 완전히 분리된 홀드아웃 기간에서 단 한 번 테스트합니다. OOS 결과는 전략을 더 다듬는 데 사용할 수 없으며, 그렇게 하면 해당 홀드아웃은 더 이상 진정한 표본 외가 아닙니다.

워크포워드 테스트

워크포워드 테스트는 실제 트레이더가 주기적으로 전략을 다시 최적화하는 과정을 모사하는, 더 정교한 형태의 OOS 테스트입니다. 고정된 훈련/테스트 분할 한 번 대신 롤링 윈도우를 사용합니다. 처음 N개 봉에서 최적화하고, 다음 M개 봉에서 테스트하고, M개 봉만큼 전진한 뒤 이를 반복합니다.