Тестирование in sample — проверка алгоритма на известных ему исторических данных.

Во время тестирования in sample алгоритм “обучается” на 50-75% от известного объема исторических данных об изменении цены.
В этот момент алгоритм на основе данных за последние минимум 3 года выбирает свои идеальные параметры для сигналов на покупку/продажу в соответствии с заложенной в него экономической логикой.

Тестирование out of sample — проверка алгоритма на неизвестных ему исторических данных.

Оно показывает, можно ли алгоритм использовать на реальных деньгах.
Данные теста out of sample могут быть релевантны только в том случае, если алгоритм тестируется минимум на 25% исторических данных от тех, на которых он учился.
При этом во время оценки теста out of sample коэффициент Шарпа не должен изменяться более чем на 20% от результатов in sample.