Backtesting polega na zastosowaniu zdefiniowanych reguł strategii do danych historycznych. Pozwala oszacować, jak model zachowywałby się w przeszłości, ale nie mówi automatycznie, jak zachowa się w przyszłości. Jakość wniosku zależy od jakości danych, konstrukcji eksperymentu i uczciwości założeń.

Największe źródło błędu: dopasowanie

Jeśli wielokrotnie zmieniamy parametry, aż uzyskamy najlepszy historyczny wynik, model zaczyna opisywać przypadkowe szczegóły konkretnej próby. To overfitting. Strategia może wyglądać znakomicie w backteście, a po wdrożeniu szybko tracić przewagę.

Ochroną nie jest jeden magiczny wskaźnik. Pomagają prostota reguł, ograniczona liczba parametrów, ekonomiczne uzasadnienie oraz walidacja na danych, które nie uczestniczyły w budowie modelu.

Błędy, które zmieniają wynik

  • Look-ahead bias: test korzysta z informacji, która w chwili decyzji nie była jeszcze dostępna.
  • Survivorship bias: dane obejmują tylko aktywa, które przetrwały do dziś, pomijając usunięte lub upadłe.
  • Nieuwzględnione koszty: prowizje, spread, poślizg cenowy i finansowanie redukują wynik.
  • Nierealna egzekucja: model zakłada transakcję po cenie, której w praktyce nie dało się uzyskać.
  • Selekcja okresu: test obejmuje środowisko szczególnie korzystne dla danego stylu.

Dobry backtest nie ma udowodnić, że strategia zarabia. Ma pokazać, w jakich warunkach wynik może być powtarzalny — i kiedy przestaje być wiarygodny.

Próba ucząca i test poza próbą

Dane wykorzystane do projektowania modelu tworzą próbę uczącą. Oddzielny okres poza próbą służy do sprawdzenia, czy zasady działają także na niewidzianych wcześniej obserwacjach. Jeszcze lepszy obraz daje analiza krocząca, w której model jest okresowo kalibrowany wyłącznie na informacjach dostępnych w danym momencie.

Co mierzyć poza stopą zwrotu

Sam wynik końcowy może ukrywać nieakceptowalne ryzyko. Dlatego analizujemy między innymi zmienność, maksymalne obsunięcie kapitału, stabilność wyniku w czasie, koncentrację zysków, liczbę transakcji oraz wrażliwość na zmianę parametrów i kosztów. Jeżeli niewielka korekta parametru całkowicie niszczy rezultat, może to oznaczać kruchy model.

Backtest jako początek

Po badaniu historycznym przychodzi etap obserwacji na nowych danych, a następnie kontrolowane wdrożenie. Różnice pomiędzy symulacją a rzeczywistością powinny być mierzone i dokumentowane. Backtesting jest filtrem jakości hipotezy, nie certyfikatem przyszłego wyniku.