LeahWow laut Leschs Kosmos verbraucht eine Anfrage an ChatGPT mit einer Antwort von 230 Wörtern 581Wh 🤯
Jetzt will ich das ja nicht mal mehr aus Spaß nutzen.
Für alle die jetzt rätseln wie die Zahl zustande kommt: Ich hab gerade mal ne Anfrage ans ZDF gestellt mit bitte um die Quelle oder Berechnungsgrundlage.
Manawyrm | Sarah@leah Perfekt, danke dir 🥰
/Бин/Баш
tante@binbash Google sagte mal Faktor 20
@tante as in: Jede Anfrage wäre für Google um Faktor 20 teuerer in der Beantwortung mit LLM
Ralf Stockmann
Maxi 12x 💉@rstockm @tante »OK, I just did a more rigorous study and I conclude that a single ChatGPT query requires between 30x and 50x more energy than a conventional search query. We can't afford this.«
https://scholar.social/@wim_v12e/111427136672493284
Blogpost: https://limited.systems/articles/google-search-vs-chatgpt-emissions/
Wim🧮 (@[email protected])
OK, I just did a more rigorous study and I conclude that a single ChatGPT query requires between 30x and 50x more energy than a conventional search query. We can't afford this. (blog post to follow soon) #FrugalComputing
David Zellhöfer@rstockm @tante Ralf, warum sollte es effizienter werden? Wir kriegen ja nicht von heute auf morgen gratis Strom oder „Super-Kondensatoren“? Gerade für IR ist ML extrem ineffizient. Die wirklich Leistung (im Sinne von Qualität für die Nutzer*innen) bringenden Verfahren sind da ja wirklich gut erforscht. Sicherlich kann ich eine andere Technik auf das Suchproblem werfen, aber warum?
@leah danke. Das scheint mir zweifelhaft hoch, wenn ich gleichzeitig sehe dass ein Stable Diffusion Framework Anfrage lokal auf der Neural Engine in iOS in etwa so viel Strom verbraucht wie einmal chaos.social im Browser öffnen.
Nicht wirklich vergleichbar, aber auch nicht um Größenordnungen verschieden. Vermute da ist irgendwie das Training reingerechnet.
Nicht wirklich vergleichbar, aber auch nicht um Größenordnungen verschieden. Vermute da ist irgendwie das Training reingerechnet.
jan@leah wie vielen fussballfeldern entspricht das?
tomgrau 👨💻@meatpuppet @leah und was ist das in DMark? 🤯
(sorry, I couldn’t resist)
Rainer Burkhardt
qbi@meatpuppet @leah Zwei Saarländer.
Martin Rocket@qbi @meatpuppet @leah 581 Wh pro Suchanfrage bei 40 Cent/kWh Strompreisbremse entspricht bei einer Milliarde Suchanfragen 232.400.000 Euro. Das ist in der Größenordnung von einem halben Prozent des BIP des Saarlandes.
Simon Kowalewski@leah Also mehr als 2 km #cybertruck fahren.
@leah Eine ganze Batterieladung fuer mein Fahrrad... (~50km) :(
Kommt mir leider auch recht realistisch vor, der Wert...
@leah Hm, mal grob ueberschlagen: Also eine A100 braucht so 500W als SXM4, wenn da 8 Stück für eingesetzt werden, sind das 4kW (+ Supporttechnik).
So ne Anfrage dauert schlimmstenfalls mal ne Minute, 4000 / 60 * 1 = ~66Wh pro Minute
Hm, ich seh noch nicht ganz, wo die 10fache Menge Energie hingeht...
Jan Walzer@jwalzer
hier gibts ne CPU & GPU implementation, die ziemlich effizient ist: https://bellard.org/ts_server/
Da gibts unten Vergleiche zwischen CPUs und GPUs (und dann kann man sich die Stromaufnahme ausrechnen)
Thomas Bornhaupt@koenigdickbauch @leah Welche 10 Rechner einmal um die Welt? Die paar Router fuer die 100kb Traffic?
Clemens aka data@manawyrm @leah diese Rechnung geht nur dann auf, wenn man annimmt, dass die Infrastruktur immer zu 100% ausgelastet ist (realistischer ist wohl eher 50-70% zu peak zeiten und im Durchschnitt unter 30%), keinen Overhead (Virtualisierung, syncing etc) hat und es sonst keinerlei Infrastruktur (Kühlung, loadbalancer, ops, Verrechnung, Entwicklung...) braucht.
@datacop @leah Moderne Datacenter haben ordentliche PUEs und diese AI Heinis lernen bestimmt von den Bitcoin-Heinis und haben das im Griff.
GPUs haben ordentliches Power-Management und brauachen die Energie nur unter Last (oder eben auch nicht). Im Idle sind die "relativ" effizient.
Virtualisierung verbraucht (quasi) keinen zusaetzlichen Strom mehr in 2023 (wird dort auch vermutlich gar nicht eingesetzt, das ist ein Engineering Nightmare ohne Grund)
@manawyrm
Keine Anfragen -> keine Kosten für Entwickung & Training. Natürlich muss man den Anschaffungspreis in die Gesamtkosten rein rechnen, egal ob Auto, Solar oder KI.
Meine Erfahrung ist, dass gerade im Cloud-Umfeld und vor allem am Anfang auf Effizienz absolut null geachtet wird. Probleme werden lieber mit Geld erschlagen, Hauptsache schnell skalieren.
Der ChatGPT Hype ist nicht mal ein Jahr alt und musste massiv skalieren, ich seh eine Effizienz von <10% definitiv realistisch.
@datacop Mh, Anschaffungspreis "magisch" reinrechnen geht halt nicht ohne separate Angabe des selbigen. Wird ja mit jeder Anfrage "besser".
Ich hab in der GPU-Cloud-Providerbranche gearbeitet und wenn ChatGPT sowas dort eingekauft hat, wäre die Effizienz _wesentlich_ besser.
Die Rechenzentren müssen dafür eh speziell gebaut werden, du kannst keine Racks mit jeweils 150kW Abwärme in nem normalen DC aufstellen -- die schmelzen (und haben auch nicht genug Strom).
Tobias Struckmeier@manawyrm @datacop was ihr meint sind Fixkosten nicht Anschaffungskosten. Und ja die legt man auf die Nutzungszeit um. Die Modelle werden ja auch permanent weiter trainiert. Ich denke das wird erst irgendwann vielleicht besser wenn bessere Technologien entwickelt wurden oder man eine so Solid foundation hat das man anders die Daten mitberücksichtigt (hybrid Ansätze).
Ist halt gerade sunrise phase. Der Vergleich mit Blockchains bricht imho weil die für nix nutze waren. Ausser zum scam
CoreDumper 
@leah oh. danke für die Info. Hab grad Microsoft im Haus, die uns das verkaufen wollen. Das läuft ja auch eher gegen das Nachhaltigkeitsziel, das wir im Unternehmen gesetzt haben 🙂
Monika@esopriester Copilot dies, Copilot das @leah
alfora@esopriester @nahlinse @leah Die Hemmschwelle ist halt verdammt niedrig. Das Ding ist halt in jedem Microsoft-Programm automatisch verfügbar.
Ich versuche, meine Kolleginnen und Kollegen davon zu überzeugen, stattdessen GPT4All zu verwenden. Das würde auf dem eigenen Rechner laufen und gar keine Daten über das Internet kommunizieren. Aber da ist eben die Benutzung schwieriger.
Och die paar Watt
Für eine einzige Bitcoin-Transaktion werden 1.449 kWh benötigt, was ungefähr der Menge an Strom entspricht, die ein durchschnittlicher US-Haushalt in 50 Tagen verbraucht.
Alex@leah @koenigdickbauch ein US Haushalt braucht 1500 kwh in 50 Tagen? Wir verbrauchen im Haus zu dritt 3000kWh im JAHR. WTF.
Auch interessant wie man Strom spart.
https://www.heise.de/news/Facebook-will-PHP-beschleunigen-920684.html
Andreas Tengicki@AlexLama @leah @koenigdickbauch Hast Du ein Haus aus Pappe mit Klimaanlagen und Haushaltstechnik (Waschmaschine etc.) auf den Stand der 50er und nen Pool? Nicht? Problem erkannt?
Cymaphore@leah Ein Wohnzimmer mit 20m² in einer Durchschnittswohnung kann man mit der Energie für daumen mal pi 2 bis 3 Stunden beheizen.
Oder ein modernes Passivhaus den halben Tag.
Patrick@cymaphore @leah Oder ca. 300 Liter Wasser mit einer Brauchwasserwärmepumpe auf 40 Grad erwärmen.
Manniac 🌈@leah Verbraucht das eine Anfrage, oder sind da die Kosten für training der Modelle eingerechnet? das wäre m.E. logischer und das macht Anfragen auf Dauer *erheblich* weniger kostenintensiv.
Man kann ja vergleichbare Modelle auf den lokalen Rechner laden, und die verbrauchen sicher keine 581 Wh, höchstens wenige Watt pro Anfrage.
Man kann ja vergleichbare Modelle auf den lokalen Rechner laden, und die verbrauchen sicher keine 581 Wh, höchstens wenige Watt pro Anfrage.
Giliell@leah Das ist ja fast so schlimm wie NFTs!
Dominik@leah kommt mir ein bisschen arg hoch vor.
Benjamin Knispel@leah Ich überlege gerade, ob ich neulich nicht Zahlenwerte im „KI Verstehen“-Podcast vom Deutschlandfunk gehört hatte… Das muss diese Folge gewesen sein: https://www.deutschlandfunk.de/energieverbrauch-kuenstlicher-intelligenz-verhagelt-uns-ki-die-klimabilanz-dlf-b6838034-100.html
Energieverbrauch von Künstlicher Intelligenz
Training und Betrieb von Künstlicher Intelligenz verbrauchen mehr Energie als ganze Länder. Auch der Wasserverbrauch ist hoch. Was könnte KI effizienter machen?
root42@leah ich habe das mal vor einem Jahr überschlagen unter der Annahme, dass eine Response etwa 30 Sekunden braucht und eine GPU mit ca 200W belegt. Da kam ich dann grob bei einer AA Batterie pro Anfrage raus. Das ist auch schon ein ziemlicher Hammer. Stell dir mal vor: jedes mal eine Batterie weghauen im übertragenen Sinn. Es ist halt so: wenn wir menschenähnliche KIs schaffen brauchen die einfach enorm viele Ressourcen. Gehirne brauchen auch echt viel Saft. Und die sind richtig effizient…
Chris Marquardt dot 🦇@chrismarquardt @leah in der Tat sehr effizient. Etwa eine Größenordnung besser als eine GPU…
@root42 @leah Aktuell werden Modelle in der Inferenz auch immer effizienter. Da wird extrem viel geforscht, die Dinger laufen schon auf Smartphones. Mit entsprechender Hardware ist da noch eine Menge Potenzial. Stichworte: pruning, distillation, quantization
Chris Marquardt (@[email protected])
Attached: 1 image @leah Das dürfte um Größenordnungen zu hoch sein. Bin gespannt, ob sich das ZDF meldet. Was wurde da rein gerechnet? Bau des RZ? Kleiner unwissenschaftlicher Test hier: Inferenz auf einem M2 mit Model mistral openorca 7B. Gedicht 264 Wörter, 53 Sekunden, ca. 22 Watt im Durchschnitt = 0,33Wh Selbst wenn die Modelle von OpenAI/StableDiffusion/etc. mehr bei der Inferenz brauchen würden, sind 581Wh maximal unglaubwürdig. Lesch lag auch bei anderen Sachen schon mal daneben.
@chrismarquardt @root42 sind halt alles statische Modelle, ChatGPT wird ja auch permanent weiter trainiert und es wird gescraped. Aber ja mir kommt die Zahl auch zu hoch vor. Vielleicht um 2 Komma Stellen verrutscht^^ Andererseits bin ich ehrlich und sie passt mir sehr gut so wie sie ist in den politischen Kram.
Jan Schöppach 
@leah @chrismarquardt @root42 wenn das weitertraining und Entwicklung da auch mit reinberechnet werden, dann sinkt der Verbrauch pro Anfrage mit steigender Anfragenzahl.. also musst du dich nicht schlecht fühlen 😊
CGdoppelpunktDas kann nicht sein. Ich habe neulich erst ChatGPT gefragt, wie es funktioniert, und in der Antwort hat es, auch bei wiederholter Nachfrage, darauf bestanden, dass es ohne Strom funktioniere. ☝️
(Kein Witz, ich hab noch einen Screenshot von dieser Diskussion.)
nSonic@leah @hdvalentin das zweifele ich erstmal an solange keine genaue Aufstellung vorliegt wie das gerechnet wurde! Das klingt mir um Größenordnungen daneben - oder es ist ein 24/7 Verbrauch eines ganzen Rechenzentrums inkl. Personal mit drin - dann würden werte für ein Google Suche oder einen Webseitenaufruf aber ähnlich aussehen müssen.
ML/KI laufen lokal auf M1 und erkennen Sprache und erzeugen Bilder mit 5-15W - pro Stunde
zem@leah Das dürfte um Größenordnungen zu hoch sein. Bin gespannt, ob sich das ZDF meldet. Was wurde da rein gerechnet? Bau des RZ?
Kleiner unwissenschaftlicher Test hier: Inferenz auf einem M2 mit Model mistral openorca 7B. Gedicht 264 Wörter, 53 Sekunden, ca. 22 Watt im Durchschnitt = 0,33Wh
Selbst wenn die Modelle von OpenAI/StableDiffusion/etc. mehr bei der Inferenz brauchen würden, sind 581Wh maximal unglaubwürdig.
Lesch lag auch bei anderen Sachen schon mal daneben.
@leah 0,3Wh ist interessanterweise auch ungefähr der Wert, den man findet, wenn man danach sucht, wie viel eine Google-Suche verbraucht
The REAL fradie 💚☕💻🤎🏳️🌈Nicht, wenn du ChatGPT local auf deinem Rechner / Homeserver betreibst...
Opa Gollum Catuvolcus DN9MS@leah Mit viel Energie kann auch neues Gold erschaffen werden. Ich passe mit meinen Vorstellungen immer weniger in die IT Branche. Keine einzige KI Anfrage hat bei mir jemals funktioniert. Bin ich jetzt zu doof dafür, oder ist meine Vorstellung von Etwas funktioniert so abwegig daneben?
C.Suthorn 
Mit dem richtigen Prompt bestreitet ChatGPT das.