Der Engpass war nie die Mathematik: quadratische Schleife, ~9 min -> 8,9 s

Anlass war die Frage nach numpy. Statt zu vermuten wurde profiliert — und das
Ergebnis war ein anderes als erwartet: von 10,07 s Gesamtlaufzeit steckten
8,17 s in der EIGENZEIT der Backtest-Schleife, nur 0,44 s in _build.

Ursache:
    [C[j] for j in PH if i - _PIV_LOOK <= j <= i - _PIV_K]   # je BAR, ganze Liste

Das ist O(Bars x Pivots) — bei 80k Bars hunderte Millionen Vergleiche, und
genau daher kamen die 9-20-Minuten-Laeufe. PH/PL sind sortiert, also genuegen
zwei Binaersuchen fuer dieselbe Menge in O(log n).

Gemessen: backtest_signal_touchfill.py ueber 80k Bars von ~9 min auf 8,9 s
(~60x), bei 8k Bars 10,07 s -> 1,43 s. Das Ergebnis bleibt inhaltlich
identisch (alle sechs Felder negativ); die Handvoll Trades Unterschied ist die
bekannte Live-Bar-Drift, nicht der Umbau.

MIGRATIONS-REGEL ERNST GENOMMEN: ein Vorher/Nachher-Vergleich zweier LAEUFE
taugt hier nicht, weil copy_rates_from_pos am neuesten Bar ankert und
eintreffende Live-Bars das Fenster verschieben. Die Gleichheit wird deshalb
DIREKT auf der Datenstruktur bewiesen — tests/test_pivotfenster.py mit vier
Faellen: 4.000 Bars x 400 Pivots, Randfaelle, leere Liste, beidseitig
inklusive Grenzen.

Angewandt auf 7 Skripte (auto_signal_v3, breakout_gated, dist_gated, htf_vola,
metalabel, sl_width, trail_be) — mechanisch identische Transformation, alle
kompilieren, Stichprobe gegengelaufen (dist_gated 20k in 1,1 s).

Lehre: die naheliegende Antwort (numpy) war die falsche. Ein Profil kostet zwei
Minuten und haette diese Bremse jederzeit gezeigt — sie lag seit Monaten in
jedem gegateten Backtest.

17 Tests gruen, n-Falle-Scan sauber.

Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
This commit is contained in:
Axel Hocks
2026-08-07 06:21:49 +02:00
co-authored by Claude Opus 5
parent 9887e3d5da
commit cddcefa463
9 changed files with 176 additions and 15 deletions
+72
View File
@@ -0,0 +1,72 @@
"""Beweist, dass die bisect-Fassung des Pivot-Fensters BITGENAU dieselbe Menge
liefert wie die frühere lineare Filterung.
HINTERGRUND (2026-08-07): das Profil zeigte, dass **8,17 s von 10,07 s**
Gesamtlaufzeit in der Eigenzeit der Backtest-Schleife steckten — nicht in
`_build` (0,44 s). Ursache war
[C[j] for j in PH if i - _PIV_LOOK <= j <= i - _PIV_K]
je Bar über die KOMPLETTE Pivot-Liste, also O(Bars × Pivots). Bei 80k Bars sind
das hunderte Millionen Vergleiche — daher die 920-Minuten-Läufe.
⚠ Die Migrations-Regel des Projekts lautet: ein Backtest darf nur umgestellt
werden, wenn er danach DIESELBEN Zahlen liefert — sonst ist es keine
Refaktorierung, sondern eine unbemerkte Änderung der Messgrundlage. Weil ein
Vorher/Nachher-Vergleich zweier LÄUFE hier nicht taugt (`copy_rates_from_pos`
ankert am neuesten Bar, zwischenzeitlich eintreffende Live-Bars verschieben das
Fenster — real am 06.08. ein Trade Unterschied), wird die Gleichheit hier
DIREKT auf der Datenstruktur geprüft.
"""
import random
from bisect import bisect_left, bisect_right
from backtest_auto_signal_v3 import _PIV_K, _PIV_LOOK
def _alt(PH, C, i):
"""Die frühere, lineare Fassung."""
return [C[j] for j in PH if i - _PIV_LOOK <= j <= i - _PIV_K]
def _neu(PH, C, i):
"""Die bisect-Fassung, wie sie jetzt in `lauf()` steht."""
a = bisect_left(PH, i - _PIV_LOOK)
b = bisect_right(PH, i - _PIV_K)
return [C[j] for j in PH[a:b]]
def test_fenster_ist_identisch():
"""Über eine realistisch geformte Pivot-Liste und viele Bar-Positionen."""
rnd = random.Random(42)
n = 4000
C = [70 + rnd.gauss(0, 2) for _ in range(n)]
# Pivots wie im Backtest: aufsteigend, unregelmäßig verteilt
PH = sorted(rnd.sample(range(_PIV_K, n - _PIV_K), 400))
for i in range(_PIV_LOOK, n, 7):
assert _alt(PH, C, i) == _neu(PH, C, i), f"Abweichung bei i={i}"
def test_randfaelle():
"""Die Stellen, an denen eine Fensterlogik typischerweise bricht."""
C = list(range(1000))
PH = [10, 20, 30, 300, 305, 310, 700]
for i in (0, _PIV_K, _PIV_LOOK, _PIV_LOOK + _PIV_K, 313, 999):
assert _alt(PH, C, i) == _neu(PH, C, i), f"Abweichung bei i={i}"
def test_leere_pivotliste():
C = list(range(100))
assert _alt([], C, 50) == _neu([], C, 50) == []
def test_grenzen_sind_inklusiv():
"""`<=` auf BEIDEN Seiten — bisect_left/bisect_right bilden genau das ab.
Ein `bisect_left` auf der oberen Grenze würde das Randelement verlieren."""
C = list(range(1000))
i = 500
PH = [i - _PIV_LOOK, i - _PIV_LOOK + 1, i - _PIV_K - 1, i - _PIV_K]
assert _neu(PH, C, i) == [C[j] for j in PH] # alle vier drin
assert _alt(PH, C, i) == _neu(PH, C, i)