Ярослав Суков – Walk-Forward анализ на финансовых рынках (страница 2)

Если вы не можете ответить на эти вопросы, значит, вы стоите на зыбкой почве. И эта книга — ваш шанс построить фундамент, который выдержит любое землетрясение рынка.

Часть I. Фундамент: где ломается классический подход

Глава 1. Анатомия бэктеста

История бэктестинга: от Excel до квантов

Чтобы понять, почему Walk-Forward анализ — это не просто улучшение, а парадигмальный сдвиг, мы должны заглянуть в историю бэктестинга. Его корни — в эпохе, когда трейдеры сидели на биржевых полах с блокнотами и карандашами, записывая цены мелом на досках. Первые «бэктесты» были мысленными: опытный спекулянт прокручивал в голове, как бы его правило сработало на прошлых движениях.

Настоящая революция случилась с появлением электронных таблиц. В 1980-х годах, когда Lotus 1-2-3, а затем Excel, вошли в обиход, каждый трейдер вдруг получил возможность загрузить исторические данные и быстро проверить любую идею. Это было похоже на то, как если бы средневековому алхимику вдруг подарили современную лабораторию. Энтузиазм был невероятным.

В 1990-е индустрия квантитативных финансов взорвалась. Появились первые хедж-фонды, построенные исключительно на систематических стратегиях. Легендарный Renaissance Technologies, D.E. Shaw, AQR — они начинали с того, что скрупулёзно тестировали тысячи идей на исторических данных. Их успех породил миф: «Если достаточно глубоко проанализировать прошлое, можно найти ключ к будущему».

Но именно в этот момент зародилась и главная эпидемия. Инструменты становились мощнее, данных становилось больше, а критического мышления — не прибавлялось. Трейдеры, инженеры, физики, переквалифицировавшиеся в «квантов», начали создавать модели такой сложности, что они с точностью до цента воспроизводили каждый исторический тик. И с неизменным удивлением обнаруживали, что в реальной торговле эти модели теряют деньги.

К началу 2000-х стало очевидно: проблема не в данных и не в вычислительной мощности. Проблема в методологии. Бэктест в классическом понимании — это статический снимок. А рынок — это живой, дышащий организм. Вы не можете сделать рентгеновский снимок динозавра и утверждать, что знаете, как поведёт себя его потомок, эволюционировавший через миллионы лет.

Сегодня мы живём в эпоху, где бэктестинг стал доступен каждому: любой человек с ноутбуком может загрузить 20 лет данных и запустить сотни стратегий за минуту. Но именно эта доступность усугубила проблему. Чем легче тестировать, тем больше мы склонны тестировать бессмысленные гипотезы, пока одна из них не покажется значимой. Это называется multiple testing или, в финансовом контексте, data snooping. И это — главная ловушка, которую мы разберём ниже.

In-sample vs Out-of-sample: скрытая ловушка

В 2008 году, когда рухнул Lehman Brothers, многие квантитативные фонды, чьи стратегии показывали впечатляющую устойчивость в бэктестах на данных до 2007 года, понесли катастрофические потери. Почему? Потому что они использовали данные in-sample (обучающую выборку) для калибровки стратегии, а затем наивно полагали, что out-of-sample (тестовая выборка), которая была просто хронологически следующим отрезком, подтвердит надёжность.

Но здесь кроется семантическая ловушка. Когда мы говорим «out-of-sample», мы часто подразумеваем «данные, которые модель не видела». Однако в финансовых временных рядах невиданность — это не то же самое, что независимость. Рынок обладает памятью, но эта память нестационарна. Период 2005–2007 годов (до кризиса) и период 2008 года (кризис) — это два разных режима, две разные вселенные с разными корреляциями, волатильностью и ликвидностью.

Классическое разделение на in-sample и out-of-sample предполагает, что данные однородны. Это как если бы вы учили ребёнка плавать в бассейне, а потом бросили его в бурный океан и сказали: «Но ты же уже плавал в воде!».

Настоящая out-of-sample проверка — это не просто другой отрезок времени. Это проверка на другом режиме рынка. Walk-Forward анализ тем и ценен, что он заставляет вас многократно проходить через смену режимов: каждый новый out-of-sample период — это мини-будущее, которое не было известно в момент обучения. И если ваша стратегия выдерживает десятки таких сдвигов, её устойчивость уже не случайна.

Data snooping и survivorship bias

В 1960-х годах психолог Пол Мил провёл эксперимент, который сегодня называют «проклятием победителя». Он показал, что если 100 исследователей независимо проверяют одну и ту же гипотезу на одних и тех же данных, вероятность того, что кто-то получит статистически значимый результат чисто случайно, близка к 100%. В финансах это работает так же: если вы протестируете 10 000 различных индикаторов на одном историческом ряде, вы обязательно найдёте несколько, которые дадут фантастическую доходность. Но это будет не открытие закономерности, а просто математическая неизбежность.

Data snooping — это ситуация, когда одни и те же данные используются многократно для формулировки и проверки гипотез. Каждый новый тест съедает часть вашей «статистической свободы». К тому моменту, когда вы находите идеальную стратегию, вы уже не можете доверять её p-значению, потому что оно не учитывает количество предыдущих попыток.

К этому добавляется survivorship bias — смещение выжившего. Когда мы тестируем стратегии на исторических данных, мы неявно используем только те активы, которые дожили до сегодняшнего дня. Но в прошлом существовали тысячи компаний, которые обанкротились, были поглощены или исчезли. Их данные часто отсутствуют в базах. Если ваша стратегия, скажем, торгует только акции, которые сейчас в S&P 500, вы автоматически исключаете те, которые когда-то входили в индекс, но потом рухнули. Это создаёт иллюзию, что рынок «легче» обыграть, чем на самом деле.

Survivorship bias — это как если бы вы изучали секрет долголетия, опрашивая только столетних людей, и игнорировали тех, кто умер в 50. Вы получите очень оптимистичную картину, но она будет искажена.

Walk-Forward анализ, особенно если он проводится на больших универсумах данных с учётом всех существовавших на момент времени активов, является одним из немногих методов, который позволяет выявить и ослабить влияние этих смещений.

Почему «идеальная кривая доходности» — плохой знак

В 2011 году группа исследователей из Университета Чикаго провела любопытный эксперимент. Они сгенерировали тысячи полностью случайных временных рядов (белый шум) и попросили группу квантитативных аналитиков «найти» в них торговые стратегии. Аналитики, используя свои лучшие методы, в большинстве случаев находили стратегии, которые на этих случайных данных показывали впечатляющие кривые доходности с высокими коэффициентами Шарпа.

Затем эти стратегии запускали на новых случайных рядах, сгенерированных независимо. Результат был ожидаем: все стратегии теряли деньги, показывая отрицательную доходность.

Вывод был пугающим: даже на абсолютно случайных данных, если дать аналитикам достаточно свободы, они создадут «прибыльные» стратегии. Чем больше параметров, чем больше фильтров, тем легче подогнаться под шум. И чем красивее кривая на истории, тем с большей вероятностью она отражает не реальный сигнал, а результат переоптимизации.

«Идеальная кривая доходности» — это как зеркальная гладь озера, которая кажется прекрасной, но скрывает под собой мутную, илистую воду. Она не имеет шума, не имеет просадок, не имеет периодов стагнации. Но реальные рынки, как и реальная жизнь, всегда имеют шум, просадки и периоды, когда ничего не работает.

В этой книге мы научимся любить шум. Мы научимся доверять стратегиям, которые показывают неровные, но последовательные результаты в десятках out-of-sample тестов. Мы научимся видеть красоту в несовершенстве — потому что именно оно свидетельствует о том, что стратегия не была перекалибрована на каждый чих истории, а уловила нечто более глубокое и устойчивое.

А теперь, когда фундамент заложен, когда мы поняли, где и как рушится классический подход, мы готовы к следующему шагу. Мы готовы погрузиться в методологию, которая превращает хрупкие, переоптимизированные модели в адаптивные, эволюционирующие системы. Мы готовы к Walk-Forward анализу.

Глава 2. Переоптимизация: враг в коде

В предыдущей главе мы говорили о том, что «идеальная кривая доходности» — это не признак гениальности, а маркер болезни. Теперь мы откроем дверь в операционную и посмотрим на этого монстра вблизи. У него много имён: overfitting, curve fitting, переоптимизация, подгонка под историю. Но суть одна — это процесс, при котором модель запоминает шум, а не выделяет сигнал.

В мире машинного обучения переоптимизацию называют «смертельным грехом». В трейдинге она не просто грех — это самоуничтожение. Потому что цена ошибки здесь измеряется не баллами на экзамене, а реальными деньгами, часто чужими и исчисляемыми миллионами.

Curve fitting и его признаки

Представьте, что вы стреляете из лука. Если вы подгоняете прицел под каждый предыдущий выстрел — учитываете порывы ветра, влажность, дрожь руки, — вы сможете идеально попадать в старые мишени. Но новая мишень окажется в другом месте, а ваша система, перенастроенная на вчерашние условия, промахнется. Curve fitting — это именно такая «стрельба по вчерашним мишеням».