Thomas KahleAlle die nichts über #ki und #llm lesen wollen, bitte kurz abschalten, da ich mal über GPT-5.5 Pro reden muss.
Dieses Modell überrascht uns in der #Mathematik gerade ziemlich.
Ein länglicher 🧵
Letzte Woche fand der Workshop "Benchmarks in Leipzig" statt (ratet mal wo) und kurz gesagt: Es fällt selbst Profi-Mathematiker:innen mittlerweile sehr schwer, innerhalb von, sagen wir, ein paar Stunden eine Forschungsfrage mit klarer, ihnen bekannter Antwort aufzuschreiben, die dieses Modell nicht lösen kann.
https://www.mis.mpg.de/de/events/series/benchmarks-in-leipzig
OK, jedes Benchmarking findet in einem Framework statt, das bestimmte Fragen ausschließt und nur kleine Teile der Mathematik abbildet. Vorweg: Mathe ist noch lange nicht gelöst oder erledigt!
In Leipzig kam Science Bench von @ChristianStump zum Einsatz. Da sind z.B. keine Ja/Nein-Fragen erlaubt, kein "Finde den Beweis von ..." und noch ein paar weitere Einschränkungen.
Christians Draft-Seite zum Thema "Mathe gelöst" übrigens
https://math.sciencebench.ai/definition-theorem-proof
Die einhellige Meinung von allen, die es wirklich ausprobieren: GPT-5.5 Pro ist den anderen Modellen weit enteilt. Die Zahlen sagen das, und beim Ausprobieren merkt man es auch.
Hier sind die Benchmarks der Probleme von Christian:
https://math.sciencebench.ai/benchmarks
Aber Pro ist hier noch NICHT aufgeführt und es löst nochmal einen ganzen Schwung weitere Fragen.
Aber was ist dieses GPT-5.5 Pro?
Früher haben wir mal immer gewitzelt (im Bezug auf Apple): Pro means showing up to your meeting with a bunch of dongles.
Im Ernst: GPT-5.5 ist eine Modellfamilie von OpenAI, die schon sehr stark ist. Pro ist ein etwas verstecktes Modell darin. Im normalen Plus-Abo der App kann man es nicht auswählen, man braucht mindestens den "Pro"-Zugang, also den für ca. 100$ im Monat oder mehr.
Die Webapp ist natürlich unbequem. Über die API kann man es auch nutzen, und es ist SCHWEINETEUER: 180$ pro 1M Token Output.
Zum Vergleich: Das gemeinhin als teuer geltende Opus 4.7 kostet 24$, ein großes OS-Modell (> 1T Param.) wie DeepSeek V4 Pro 85 Cent.
In CODEX, dem Coding-Harness von OpenAI, kann man Pro auch nicht per Monatsabo nutzen. Ergäbe aber auch wenig Sinn: Das Modell braucht extrem lange zum Antworten. Mathe-Frage reingeben und 1-2h auf die Antwort warten ist komplett normal.
Markus Osterhoff@tomkalei Vorhin hatte ich im „normalen“ 5.5 in Codex einen Prompt, an dem 27 Minuten gearbeitet wurde. Die Aufgabe wurde vollständig gelöst, mit mehreren Syntaxchecks, Patches und Testbench zwischendurch (alle schön ins git eingepflegt).
Hat 30% der Credits-pro-5-Stunden im 20 €-Abo gekostet.
Wie krass muss dann „Pro“ sein.
Marcel RothIch freue mich auf den Tag, wo das ehrlich bepreist wird. Dann können wir eine "Kosten-Nutzen-Gesamtrechnung" machen.
Allerdings für Wissenschaft: Mal unter der Annahme, dass die Gesellschaft noch Wissenschaft will, ist das alles noch im Rahmen, z.B. im Vergleich zum Bau und Betrieb des DESY.
Diese Riesenmodelle sind für die Mathematik sowas wie Teilchenbeschleuniger, oder?
Fabian Transchel@tomkalei @sci_photos @Marcel Abwarten. Mich erinnert das an zwei Dinge:
a) Das GHz-Rennen um 2000. Da wurden auch absurde Sachen gemacht, die abgefahren aussahen, aber in der Praxis null Wirkung hatten, weil es alles synthetisch war[1].
b) Deep Blue / AlphaGo. Sicher beeindruckend, dass man Schach und Go "lösen" konnte, aber auch ein Vergleich 20W <-> 200(!) kW.
@tomkalei @sci_photos @Marcel [1] Damit will ich nicht sagen, dass Plus nur ein Benchmark-Breaker wäre, ich sehe auch Sachen, von denen ich echt nicht gedacht hätte, dass Transformer das könnten.
Meine Intuition ist aber, dass es ein bisschen so in Richtung Hidden Subgroup Problem geht: Benchmarks, die man sich überlegt sind eben lösbar, weil man in der Problemstellung eine ganze Menge mitgibt.
@tomkalei @sci_photos @Marcel Will sagen: In Summe und mit echten Preisen ist das vielleicht etwas, das gerade so ökonomisch ist.
Am Ende ist es aber so, dass man mit Abstrakter Mathematik allein Billiarden an Investitionen nicht wieder hereinholen wird, denn für Nudelsalatrezepte und Teenagerpsychosen bezahlt man halt keine hunderte Dollar im Monat - und dann friert quasi der Stand jetzt erstmal ein.
@tomkalei @sci_photos @Marcel Ein weiterer Punkt: Was verbindet Coding und Mathematik?
Dass es hochformalisierte Probleme sind, die praktisch volldigitalisiert vorliegen.
Das kann man von KEINEM anderen Problemfeld in der Form sagen - und deshalb bin ich total sicher, dass man sich darauf stürzt - OpenAI Mathe und Anthropic eben Coding.
Unstrukturierte Daten auf RLHF zu formen ist absolut BRUTAL und skaliert be...scheiden.
@tomkalei @sci_photos @Marcel Und das ist dann der pure Grift: Wer Coding und/oder Mathe nur so semi versteht, der ist von solchen Leistungen hart beeindruckt und begeht den Transfer-Fehlschluss, dass ein für Mathematik optimiertes Modell auch gute Legal-Beratung (o.ä.) machen könnte - und das ist natürlich komplett falsch, wenn man dafür keine Daten hat und/oder nicht wirklich optimieren würde.
@tomkalei @sci_photos @Marcel Zurück zu AlphaGo: Wir wissen lange, dass viele Probleme lösbar sind, wenn man nur genug[tm] Compute drauf wirft und ich meine, dass Coding und Mathe eben die beiden Bereiche sind, wo das bis zum Ende gemacht wird.
Im Grunde kann man daraus auch die Verzweiflung der Anbieter ablesen: Würden andere Sachen "gut" funktionieren, müsste man sich nicht auf Nischen im Gesamtproblemraum[2] konzentrieren.
@tomkalei @sci_photos @Marcel [2] Will sagen: Mathe ist cool, klar. Aber ich kann mir einfach nicht vorstellen, dass es hier nicht ein Overfitting in diesen Bereich gibt, wenn wir *keine* Berichte von Entwicklungsschritten in anderen Bereichen sehen.