Letzte Woche fand der Workshop "Benchmarks in Leipzig" statt (ratet mal wo) und kurz gesagt: Es fällt selbst Profi-Mathematiker:innen mittlerweile sehr schwer, innerhalb von, sagen wir, ein paar Stunden eine Forschungsfrage mit klarer, ihnen bekannter Antwort aufzuschreiben, die dieses Modell nicht lösen kann.

https://www.mis.mpg.de/de/events/series/benchmarks-in-leipzig

OK, jedes Benchmarking findet in einem Framework statt, das bestimmte Fragen ausschließt und nur kleine Teile der Mathematik abbildet. Vorweg: Mathe ist noch lange nicht gelöst oder erledigt!

In Leipzig kam Science Bench von @ChristianStump zum Einsatz. Da sind z.B. keine Ja/Nein-Fragen erlaubt, kein "Finde den Beweis von ..." und noch ein paar weitere Einschränkungen.

Christians Draft-Seite zum Thema "Mathe gelöst" übrigens
https://math.sciencebench.ai/definition-theorem-proof

Die einhellige Meinung von allen, die es wirklich ausprobieren: GPT-5.5 Pro ist den anderen Modellen weit enteilt. Die Zahlen sagen das, und beim Ausprobieren merkt man es auch.

Hier sind die Benchmarks der Probleme von Christian:
https://math.sciencebench.ai/benchmarks

Aber Pro ist hier noch NICHT aufgeführt und es löst nochmal einen ganzen Schwung weitere Fragen.

Aber was ist dieses GPT-5.5 Pro?

Früher haben wir mal immer gewitzelt (im Bezug auf Apple): Pro means showing up to your meeting with a bunch of dongles.

Im Ernst: GPT-5.5 ist eine Modellfamilie von OpenAI, die schon sehr stark ist. Pro ist ein etwas verstecktes Modell darin. Im normalen Plus-Abo der App kann man es nicht auswählen, man braucht mindestens den "Pro"-Zugang, also den für ca. 100$ im Monat oder mehr.

Die Webapp ist natürlich unbequem. Über die API kann man es auch nutzen, und es ist SCHWEINETEUER: 180$ pro 1M Token Output.

Zum Vergleich: Das gemeinhin als teuer geltende Opus 4.7 kostet 24$, ein großes OS-Modell (> 1T Param.) wie DeepSeek V4 Pro 85 Cent.

In CODEX, dem Coding-Harness von OpenAI, kann man Pro auch nicht per Monatsabo nutzen. Ergäbe aber auch wenig Sinn: Das Modell braucht extrem lange zum Antworten. Mathe-Frage reingeben und 1-2h auf die Antwort warten ist komplett normal.

@tomkalei Vorhin hatte ich im „normalen“ 5.5 in Codex einen Prompt, an dem 27 Minuten gearbeitet wurde. Die Aufgabe wurde vollständig gelöst, mit mehreren Syntaxchecks, Patches und Testbench zwischendurch (alle schön ins git eingepflegt).

Hat 30% der Credits-pro-5-Stunden im 20 €-Abo gekostet.

Wie krass muss dann „Pro“ sein.

@Marcel @tomkalei Sehr gute Frage.

Das, was ich da gerade für nen Zwanni im Monat mache … puh.

Mein Glück: in vier Wochen ist der Messzeitblock am DESY vorbei, danach „brauche“ ich den Stoff erstmal nicht, dreiviertel Jahr kalter Entzug 😵‍💫.

@sci_photos @Marcel

Ich freue mich auf den Tag, wo das ehrlich bepreist wird. Dann können wir eine "Kosten-Nutzen-Gesamtrechnung" machen.

Allerdings für Wissenschaft: Mal unter der Annahme, dass die Gesellschaft noch Wissenschaft will, ist das alles noch im Rahmen, z.B. im Vergleich zum Bau und Betrieb des DESY.

Diese Riesenmodelle sind für die Mathematik sowas wie Teilchenbeschleuniger, oder?