Quant Trading Academy, Модуль 1, Часть 2

Бэктестинг — мощный, но коварный инструмент. Вам не обязательно строить бэктесты самостоятельно, но вы должны понимать, что они измеряют и как их интерпретировать.

Что такое бэктестинг

Бэктест применяет торговые правила к историческим данным и измеряет, что произошло бы, если бы им следовали. Бэктест — это симуляция прошлого, а не запись реальных сделок.

Он отвечает на вопрос: "Если бы эта стратегия применялась к этим данным, какие результаты она бы показала?" Он не дает прямого ответа: "Будет ли она приносить прибыль в будущем?"

Три врага надежного бэктеста

Переобучение (Overfitting)
Переобучение происходит, когда стратегия настолько точно подогнана под прошлые данные, что она "зазубривает" историю вместо поиска реальной закономерности. Протестируйте достаточно вариантов, и одна версия случайно покажет исключительные результаты. Противоядие — простота и устойчивость.

Опережающий индикатор (Look Ahead Bias)
Этот эффект возникает, когда бэктест использует информацию, которая была бы недоступна в момент принятия решения. Если сигнал использует закрытие свечи и входит по этой же цене закрытия — это жульничество. Вы узнаете цену закрытия только после завершения свечи.

Подгонка данных (Data Snooping)
Это происходит, когда один и тот же набор данных используется до тех пор, пока не появятся хорошие результаты. Если вы тестируете много идей и показываете только прибыльные, они могут просто соответствовать случайностям этой выборки. Многие опубликованные факторы проваливаются на вневыборочных данных именно по этой причине.

Золотой стандарт: Тестирование на вневыборочных данных

Лучшая защита — тестирование на вневыборочных данных (out-of-sample): создайте стратегию на одном периоде, а затем протестируйте ее на другом, не виденном ранее периоде.

Если стратегия построена на данных 2018–2022 годов и работает на данных 2023–2024 годов, этот результат значим. Более мощный метод — walk-forward testing, где стратегия постоянно переоптимизируется на скользящих окнах и тестируется на следующем неиспользованном окне. Стратегии, прошедшие оба этапа, с большей вероятностью отражают реальные рыночные преимущества.

Честные ограничения любого бэктеста

Даже у бэктеста есть пределы. Расходы легко недооценить. Проскальзывания, спреды и плохое исполнение имеют значение. Влияние на рынок невидимо: крупные позиции могут двигать цену против вас. Исторические данные имеют пробелы и аномалии. Рынки развиваются. Участники, структура и регулирование меняются. Бэктесты полезны, но не являются гарантией.

Что говорят вам бэктесты Quant

Настройки Quant основаны на систематическом бэктестинге, разработанном для снижения этих рисков. Метка +EV отражает паттерн с положительным математическим ожиданием на исторических данных, а не просто конфигурацию, подогнанную до красивых цифр.

Бэктест — это калиброванная база, а не уверенность. В схожих условиях настройка исторически приносила положительные результаты на значимой выборке. Реальные показатели будут отличаться. Отдельные сетапы будут убыточными. Плохая серия — не доказательство краха. Настоящий вопрос в том, выглядит ли это как нормальная дисперсия или условия изменились системно.

Когда ставить сигнал под сомнение

Не бросайте сигнал только из-за неудачной серии. Но слепо следовать любому сигналу вечно, игнорируя факты, — такая же ошибка.

Порог должен быть статистическим, а не эмоциональным. Спросите себя: изменилась ли структура рынка, является ли просадка значительно хуже исторических и есть ли логическая причина, по которой сигнал перестал работать?

Если нет — сохраняйте дисциплину. Если да — проведите систематический анализ, а не панический выход. Quant постоянно следит за состоянием сигналов.

Основные выводы

Бэктест показывает, что произошло бы в прошлом, а не реальные результаты.
Главные враги — переобучение, опережающий индикатор и подгонка данных.
Тестирование на вневыборочных данных — лучший инструмент проверки.
Все бэктесты имеют ограничения: расходы, влияние на рынок, неидеальные данные и эволюция рынка.
Сигналы +EV от Quant значимы и строги, но не являются гарантией.
Ставьте сигнал под сомнение систематически, а не эмоционально.