Тестирование in sample — это проверка алгоритма на известных ему исторических данных.

Во время тестирования in sample алгоритм «обучается» на 50–75% от известного объема исторических данных об изменении цены. На основе данных за последние минимум 3 года алгоритм выбирает свои идеальные параметры для сигналов на покупку/продажу в соответствии с заложенной в него экономической логикой.

Тестирование out of sample — это проверка алгоритма на неизвестных ему исторических данных.

Оно показывает, можно ли использовать алгоритм на реальных деньгах.
Данные теста out of sample могут быть релевантны только в том случае, если алгоритм тестируется минимум на 25% исторических данных от тех, на которых он учился.

При этом во время оценки теста out of sample коэффициент Шарпа не должен изменяться более чем на 20% от результатов in sample.