Max von Webel@rstockm Du sagt “aber es kann ein komplett anderes Problem lösen und das reicht mir”. Okay. Aber stimmst du mir zu, dass es das eigentliche von mir beschriebene Problem nach wie vor nicht lösen kann?
Ralf Stockmann@343max Ich glaube in der Sache sind wir gar nicht weit auseinander, wir haben nur sehr unterschiedliche Perspektiven auf die Grundfrage. These:
1)
Ralf: zentral ist, dass ein Problem verlässlich mit LLM gelöst werden kann. Egal wie der Weg ist.
Max: zentral ist: dass auch der komplette Weg vom LLM perfekt gegangen wird ohne Begleitung
2)
Ralf: nutzt ausschließlich die besten für Geld verfügbaren Modelle, ignoriert den Rest
Max: nutzt was gerade da ist, auch die freien Versionen
1)
Ralf: zentral ist, dass ein Problem verlässlich mit LLM gelöst werden kann. Egal wie der Weg ist.
Max: zentral ist: dass auch der komplette Weg vom LLM perfekt gegangen wird ohne Begleitung
2)
Ralf: nutzt ausschließlich die besten für Geld verfügbaren Modelle, ignoriert den Rest
Max: nutzt was gerade da ist, auch die freien Versionen
LBDie prinzipiellen Schwächen dieser Systeme ignoriert er oder erzählt mir das wenn ich nur wohlhabender wäre und 200€/Monat Abos hätte alles total toll wäre (kann ich halt nicht überprüfen und scheint mir auch nicht glaubhaft) (2/2)
@343max Das Schöne ist ja, dass es Forschung gibt und die ist bisher ziemlich eindeutig. Man fühlt sich als Softwareentwickler mit LLM-"Unterstützung " deutlich produktiver als man tatsächlich ist.
@rstockm @343max 2020 ist nicht ganz 10 Jahre her. Und ja, ich habe das Gefühl, dass es in den letzten 1-2 Jahren eher eine Stagnation gibt
@rstockm @343max Bisher hat mich noch kein LLM für die Softwareentwicklung überzeugt. Ja, die kotzen schnell einen Prototypen raus, aber sobald die echte Welt damit in Verbindung kommt, explodiert alles.
Für kleine Nischenprobleme kann es vielleicht was taugen, aber da sind spezielle Lösungen sicher besser als LLMs.
@lbenedix @343max Alles hier aus den letzten 2 Jahren dazu zwei nicht öffentliche die noch komplexer sind:
https://github.com/rstockm?tab=repositories
Es kommt halt auch darauf an ob man die LLMs beim Coden als Gegner sieht den man aufs Kreuz legen möchte oder als endlos geduldig motivierten Junior DEV den man ins eigene Projekt einarbeitet.
@343max @rstockm Bei der Beurteilung, ob ein LLM gute Arbeit macht, spielen viele psychologische Verzerrungen mit. Es fängt schon damit an, dass man selbst etwas tut, also einen Prompt formuliert und dann passiert etwas. Das ist natürlich toll.
Aber ja, es gibt glaub ich kein erfolgreiches Open Source Projekt, bei dem der überwiegende Anteil der Contributions von LLMs kommt. Oder?
@lbenedix @343max Schön, dass ihr euch einig seid, dass meine Apps alle unterkomplex sind. Was ich sagen kann:
1) ich habe keine Zeile davon selbst geschrieben
2) keines der Projekte hätte ich angefangen ohne LLMs (ich kann kein JavaScript)
3) die Oneshot Quote ist mit den Monaten kontinuierlich gestiegen, bei Testabend fast alles bis auf mobil CSS
4) Einigen der Tools würde ich doch gesellschaftlichen Nutzen zuschreiben wie Mastowall, Mastotags oder Fedipol.
1) ich habe keine Zeile davon selbst geschrieben
2) keines der Projekte hätte ich angefangen ohne LLMs (ich kann kein JavaScript)
3) die Oneshot Quote ist mit den Monaten kontinuierlich gestiegen, bei Testabend fast alles bis auf mobil CSS
4) Einigen der Tools würde ich doch gesellschaftlichen Nutzen zuschreiben wie Mastowall, Mastotags oder Fedipol.
Uckermark MacGyver 
@343max @rstockm @lbenedix Aber bei komplexen Projekten arbeitet man doch nicht mit dem EINEN prompt. Man führt eine Unterhaltung mit dem LLM, beschreibt seine Ideen, das LLM fragt nach, schreibt die Specs auf , macht Designvorschlaege etc. und am Ende schreibt es auch noch den Code. Das ist durchaus ein iterativer Prozess. Das funktioniert nach meiner Erfahrung ziemlich gut. In diesem Prozess muss das LLM aber nichts Neues lernen. Nur vorhandenes "Wissen" über Software richtig anwenden. Und das können die Dinger ziemlich gut.
@maxheadroom @rstockm @lbenedix Ja, so nutze ich coding Assistants. So wie ich diese Tools nutze haue ich einen Prompt rein, schaue mir ein paar Sekunden oder Minuten später das Ergebnis an, werfe es weg, fixe es oder akzeptiere es.
Aber in diesem Strang ging es ja genau darum wie Ralf verlässlich Probleme von einer AI lösen lässt, also sie Code schreibt, Tests schreibt, Bugs fixt etc ohne das man ihr dabei ständig die Hand halten und neue Anweisungen geben muss.
@343max @rstockm @lbenedix Ich denke das würde gehen, wenn Du Spezifikationen im vornherein genau weißt und dem LLM sehr präzise Anweisungen gibst und es dann machen lässt. Ggf. braucht es Agenten die sich gegenseitig überwachen.
Aber genau das gleiche Problem hast du ja mit menschlichen Entwicklern auch. Am Anfang steht erstmal eine Produktidee und die musst entwickeln. Die wirfst du ja dem Entwickler auch nicht einfach hin und nach ein paar Stunden oder Tagen kommt es genau so raus wie du es dir vorgestellt hast.
@maxheadroom @rstockm @lbenedix Nach meiner Erfahrung geht das nicht wirklich, weil die LLM sich dann meistens irgendwann auf die Fresse packt oder der Kontext vollläuft und sie anfängt Amok zu laufen.
Außerdem klingt das für mich extrem nach Wasserfall.
Mit den menschlichen Entwicklern könnte man schnell iterieren, vielleicht sogar den eigenen Stolz überwinden und selbst ein wenig programmieren lernen auch wenn das natürlich eigentlich unter dem Niveau eines Managers ist.
@343max @rstockm @lbenedix ja, das ist "Wasserfall". Aber egal wie du es nennst, die Dinger sind dabei einfach zig mal schneller beim Schreiben von Code, beim lesen langer Fehlermeldungen, beim recherchieren in Dokumentation etc. Und das ist ein sehr großer Vorteil.
Es entsteht einfach viel Software die es so nicht geben würde weil jemand mit zu wenig skills oder Geduld/Zeit sich nicht an seine Idee rangetraut hat. Mit einem Coding Assistant kann so jemand solche Ideen komplett umsetzen.
Was glaube ich auch nicht zu verachten ist, ist die "Attitude" des LLM. Das ist immer nett und will dir helfen. Egal wie dumm du dich anstellst. Stellst Du menschlichen Enticklern eine Frage die dich als Anfänger outed bekommst du mit hoher Wahrscheinlichkeit eine anfällige oder sehr oberlehrerhafte Antwort. Das motiviert nicht immer dran zu bleiben.
@maxheadroom @rstockm @lbenedix Ich habe nicht bestritten das LLMs ihren Wert haben können. Wir reden hier aber von Autonom, Zuverlässig Qualitativ hochwertige Software auf dem Niveau eines junior Devs. Davon sind LLMs meiner Meinung nach weit entfernt. Ralf ist sehr Stolz darauf keine Ahnung von JS zu haben und ich finde das sieht man den Projekten auch an. Schon die Readme’s sind ausufernder AI Slop mit offensichtlichen Fehlern und Text nur um Text zu haben. (1/4)
Der Code ist nicht wartbar, dain jemals einen Bug zu finden dürfte erstmal massives Refactoring voraussetzen. Was ist der Wert von solchem Code über den reinen Gebrauchswert hinaus? Wie soll sowas weiterentwickelt werden, wie soll das gewartet werden? Und wäre es jetzt so ein massiver sozialer Abstieg ein ganz klein wenig Coden zu lernen um das wenigstens wartbar zu machen? (2/4)
Was ist der Wert all dieser zusätzlichen Software? Ich habe mit LLMs eine Katzenfutter Tracking App gebaut. Das hätte man auch in Excel oder AirTable zusammenklicken können, ganz ohne sich böse Codingskills aneignen zu müssen. Software an sich hat ja keinen Wert, im Gegenteil sie verursacht in erster Linie Kosten, darum probieren wir ja alle wie so wenig davon zu produzieren wie es geht. Das ist doch so als würde man ImageGen damit vertreidigen, dass es mehr Bilder produziert. (3/4)
Wir brauchen aber nicht mehr Bilder. Wir brauchen auch nicht mehr Software. Wir brauchen bessere Software die Menschen ermöglicht produktiver zu sein, die einfach wartbar ist, keine hohen Folgekosten hat, zuverlässig ist. Sich von einer LLM irgendeine App zusammenschrauben lassen ist da doch nicht nur keine Verbesserung sondern sogar eine Verschlechterung. (4/4)
Und ich sehe nicht, dass mich LLMs massiv produktiver machen. Sehe ich nicht. Wenn dann vielleicht 10%. Wenn man noch mal in Betracht zieht wie wenig seiner Zeit Entwickler mit programmieren verbringen, dann ist das kaum mehr als ein Rundungsfehler. Im besten Fall.
Aber hey, wir können jetzt endlich simpelste Greenfield Tools von einer LLM bauen lassen und können weiterhin überall rumerzählen, dass wir dafür nicht mal die Sprache lernen mussten wie so ein Loser.
@343max Puh, ich weiß gar nicht wo ich hier anfangen soll, und es dreht sich im Kreis. Mal ein anschließender Gedanke von meiner Seite: „wir brauchen nicht mehr Software". Das sagten die Mönche im Mittelalter auch, als der Buchdruck erfunden wurde: „Die Menschen brauchen nicht mehr Bücher, die Bibel reicht. Schon gar keine selbst gesetzten, da geht jede Handwerkskunst verloren wenn wir die Bücher nicht monatelang selber zeichnen. Sollen die Leute halt Latein lernen.“
1/2
1/2
@343max Coding LLMs werden die Druckpressen für Software werden, oder genauer der Laserdrucker der zu Hause steht und manigfaltige Probleme löst. App Entwicklung wird allgemeingut wie das Drucken einer Seite. Und ihr könnt euch beschweren dass Comic Sans eine uncoole Schrift ist, und all die Rechtschreibfehler, und das Design - aber die Entwicklung ist nicht aufzuhalten. Und es ist nicht an euch zu sagen „dein A4 Ausdruck ist doch Quatsch, braucht niemand“.
Checkt mal eure Privilegien.
Checkt mal eure Privilegien.
Thomas Bartz@rstockm @343max Der Unterschied ist: Ein Buch von vor 500 Jahren kann heute noch gelesen werden und hat Mehrwert, Software von heute wird ohne Wartung schon in 10 Jahren unbrauchbar sein. Deswegen ist mehr Software auch ein Mehr an Aufwand. Technical Debt usw.
Hab die Diskussion genau deswegen so interessiert verfolgt, weil ich Ralf einerseits zustimme, dass Prototyping mit LLM enorm vereinfacht wird, ich beruflich aber ganz andere Probleme zu lösen habe, die - wie Max imho korrekt anmerkt 1/2
Hab die Diskussion genau deswegen so interessiert verfolgt, weil ich Ralf einerseits zustimme, dass Prototyping mit LLM enorm vereinfacht wird, ich beruflich aber ganz andere Probleme zu lösen habe, die - wie Max imho korrekt anmerkt 1/2
@rstockm @343max LLMs lange nicht lösen können werden. Ich habe sehr große Vorbehalte davor, einen Coding Assistent auf die komplexen Legacy-Projekte zugreifen zu lassen, wo Anpassungen über mehrere Applicationen & Architekturen verteilt orchestriert werden müssen.
Denke, beide Seiten Argumentieren hier aus grundlegend verschiedenen Ausgangspositionen und treffen falsche Annahmen über die Gegenseite. Jedenfalls mein Eindruck.
Trotzdem spannend, danke! Und seid nett zueinander :)
2/2
@sixumbrellas @rstockm Ich habe da überhaupt keine Vorbehalte und habe es schon mehrfach probiert. Ich habe in ein großes Android Projekt ein paar kleinere Features einbauen lassen. Das funktioniert bis zu einem gewissen Grad und kann auch erstaunlich befriedigend sein. Aber macht es mich deutlich produktiver oder ermöglicht es Menschen ohne Ahnung diesen Job zu übernehmen? roflol, nope. (1/2)
msaehn@343max @sixumbrellas @rstockm ich stimme zu, dass ihr irgendwie aneinander vorbeiredet. die einstiegshürde für software furch llms deutlich gesunken&das ist doch gut (klar kann man programmieren lernen, aber react,ts,js,npm,tailwind,.. das ist viel). und ja, llms scheitern immer noch oft,aber bei bestimmten usecases sind sie sehr gut, sogar besser als ein junior dev (sehe ich wöchentlich auf der arbeit). aber trotzdem haben wir bei uns juniordevs.
@msaehn @sixumbrellas @rstockm Das stimmt, das ist viel. Und man muss es auch mit LLMs immer noch können, weil zumindest Claude das aufsetzen eines leeren Projekts mit bun, vite, react, tailwind in ts bestenfalls so in 30% aller Fälle hinbekommt und es dann meist auch nicht gefixt bekommt. Und dabei auch gerne irgendwelche veralteten Versionen installiert. Und wenn ich nicht genau sage welche Tools es installieren soll endet man wie Ralf mit Vanilla html, Bootstrap und jQuery.
@msaehn @sixumbrellas @rstockm Wenn ich mir so ein Projekt das Claude generiert habe anschaue: wahnsinnig viele Redundanzen, massenhaft ungenutzter Code, Tests die nichts testen, try/catch Blöcke die nichts anderes machen als weiter zu werden. Man kann sich nicht drauf verlassen das Anweisungen befolgt werden. (1/2)
Ich hab mal ausführlich eine Formel beschrieben wie was zu berechnen ist, die hat es dann brav mit Tests und allem implementiert und sich dann eine komplett andere Formel aus dem Finger gesaugt als es darum ging die einzusetzen und den anderen Code ungenutzt liegen zu lassen. So eine scheisse produzieren doch keine Junior Devs. (2/2)
@343max das stimmt. aber wir hatten zb nen renderer nach pdf/png/svg/dxf/canvas schreiben lassen. inkl styling&clipping. ist sehr getrennt vom rest des codes. aber das selber zu schreiben hätte vielleicht mehrere wochen gebraucht. das llm hat das „einfach so“ mit etwas hand halten gemacht. oder bugbot, was vermutlich in 30-50% aller PRs relevante bugs findet.
@msaehn Den Renderer gibt es auch als Bibliothek. Entweder hat euch die AI da die Bibliothek eingebaut, was euch auch nicht mehrere Wochen gekostet hätte oder es hat euch die Bibliothek nachgebaut mit ein paar zusätzlichen Fehlern drin und ohne Möglichkeit zu aktualisieren. Bugbot kenne ich nicht, ich weiß nur, dass GitHub Copilot selten irgendwas außerhalb von „ich sage irgendwas um meinen Wert zu beweisen“ beizutragen hat.
@343max es gibt diese bibliothek nicht, aber bestimmt hat die llm sich ideen von unserem vorherigem renderer und existierenden projekten genutzt. natürlich können wir es aktualisieren, wir maintainen ja den code jetzt. copilot nutze ich nicht, weil es zu schlecht war. -zuverlässig und alleine, natürlich nicht (bis auf mini tickets und genug context) -und trotzdem ist da was.
@msaehn Noch mal: ich habe nie behauptet, dass da nichts wäre. Aber wie viel ist da? Wie viel produktiver ist dein Teams durch LLMs geworden? 5%? 10%? Wie viel ist das Wert (monetär)? Was sind die Risiken (katastrophale Aussetzer der LLMs, Industriespionage, USA blocken EU…)? Wie viel ist es dann noch wert? Ist dieser Wert genug um die Billionen an Investitionen die gerade in AI gesteckt werden auch nur im Ansatz wieder zu refinanzieren? Meine Vermutung: nein.
@343max 5-10% vielleicht. aber für andere menschen (wie zb ralf ja viel mehr) -und für eigene private sachen auch mal mehr. -die risiken für unsere mini firma sind begrenzt. für andere sieht es anders aus. sind die investitionen es wert? ich glaube nicht, aber manchmal kann sowas ja trotzdem funktionieren und im zweifel geht die blase kaputt. aber ich sag ja auch nicht „llms alles super“