Bernd von Mallinckrodt 🦋BenchEWS v1.0: A Reproducible ...
BenchEWS v1.0: A Reproducible Benchmark Infrastructure for Early-Warning Signal Evaluation
BenchEWS v1.0 is a lightweight, reproducible benchmarking infrastructure for the evaluation of Early-Warning Signal (EWS) methods in complex systems. The framework addresses a long-standing reproducibility gap in the EWS literature by providing a standardized reference environment, fixed evaluation protocol, and anti-gaming validation architecture. The benchmark consists of two controlled synthetic environments: (1) a stochastic saddle-node (fold) bifurcation representing a true approaching critical transition and (2) a stationary null system representing the absence of a transition. All methods are evaluated on identical preprocessed residual trajectories generated through causal one-sided detrending, preventing look-ahead bias and ensuring operational realism. BenchEWS includes standardized baseline implementations (Variance and AR(1)), AUC-based performance evaluation, and a null-calibrated scoring mechanism designed to penalize trivial trend-following or time-index-based exploits. The framework is intentionally minimal, transparent, and fully auditable, allowing researchers to compare methods under identical conditions and reproduce benchmark results across independent studies. BenchEWS is not a new Early-Warning Signal method. Instead, it provides a reproducible evaluation infrastructure intended to support fair comparison, validation, and future benchmark development within the Early-Warning Signal research community. Keywords (English) Early-Warning Signals, Benchmarking, Reproducibility, Critical Transitions, Saddle-Node Bifurcation, Fold Bifurcation, Critical Slowing Down, Complex Systems, Time Series Analysis, Autocorrelation, Variance Indicators, AUC-ROC, Benchmark Infrastructure, Scientific Software, Open Science, Validation Framework, Reproducible Research, Null Calibration, Benchmark Design, Complex Adaptive Systems Beschreibung (Deutsch) BenchEWS v1.0 ist eine leichtgewichtige, reproduzierbare Benchmark-Infrastruktur zur Bewertung von Early-Warning-Signal-(EWS)-Methoden in komplexen Systemen. Das Framework adressiert eine zentrale Reproduzierbarkeitslücke der EWS-Forschung, indem es eine standardisierte Referenzumgebung, ein fest definiertes Evaluationsprotokoll sowie eine Anti-Gaming-Validierungsarchitektur bereitstellt. Der Benchmark basiert auf zwei kontrollierten synthetischen Umgebungen: (1) einer stochastischen Sattel-Knoten-(Fold)-Bifurkation als Modell eines realen kritischen Übergangs und (2) einem stationären Nullsystem ohne kritischen Übergang. Alle Methoden werden auf identisch vorverarbeiteten Residualzeitreihen bewertet, die durch kausale, einseitige Trendbereinigung erzeugt werden. Dadurch werden Look-Ahead-Bias und andere Formen von Informationsleckagen vermieden. BenchEWS enthält standardisierte Referenzmethoden (Varianz und AR(1)), eine AUC-basierte Leistungsbewertung sowie einen nullkalibrierten Bewertungsmechanismus, der triviale Trendfolger und zeitindexbasierte Ausnutzung des Benchmarks gezielt bestraft. Das Framework wurde bewusst minimalistisch, transparent und vollständig nachvollziehbar gestaltet, um faire Vergleiche und reproduzierbare Ergebnisse über unabhängige Studien hinweg zu ermöglichen. BenchEWS ist keine neue Early-Warning-Signal-Methode. Vielmehr stellt es eine reproduzierbare Evaluationsinfrastruktur bereit, die den methodischen Vergleich, die Validierung und die zukünftige Entwicklung standardisierter Benchmarks innerhalb der EWS-Forschung unterstützen soll. Schlüsselwörter (Deutsch) Frühwarnsignale, Early-Warning Signals, Benchmarking, Reproduzierbarkeit, Kritische Übergänge, Sattel-Knoten-Bifurkation, Fold-Bifurkation, Critical Slowing Down, Komplexe Systeme, Zeitreihenanalyse, Autokorrelation, Varianzindikatoren, AUC-ROC, Benchmark-Infrastruktur, Wissenschaftliche Software, Open Science, Validierungsframework, Reproduzierbare Forschung, Null-Kalibrierung, Komplexe Adaptive Systeme
Oswald J. Klingler
Karl Theodor
Stefan Köhler
Arnd Layer
Christian Meesters
