Что такое тестирование in sample и out of sample?
Тестирование in sample — это проверка алгоритма на известных ему исторических данных.
Во время тестирования in sample алгоритм «обучается» на 50–75% от известного объема исторических данных об изменении цены. На основе данных за последние минимум 3 года алгоритм выбирает свои идеальные параметры для сигналов на покупку/продажу в соответствии с заложенной в него экономической логикой.
Тестирование out of sample — это проверка алгоритма на неизвестных ему исторических данных.
Оно показывает, можно ли использовать алгоритм на реальных деньгах.
Данные теста out of sample могут быть релевантны только в том случае, если алгоритм тестируется минимум на 25% исторических данных от тех, на которых он учился.
При этом во время оценки теста out of sample коэффициент Шарпа не должен изменяться более чем на 20% от результатов in sample.