🎮 Nerdherz 🧶Na das kann ja zukünftig noch heiter werden.
honk if you want to honk 
@nerdherz (Viel zu) viele meiner Kolleg*innen laden neuerdings ihnen ausgehändigte Drehbücher zu ChatGPT hoch, um sich eine Zusammenfassung geben zu lassen, damit sie das Buch nicht ganz lesen müssen. ChatGPT lernt also gerade Drehbuchschreiben durch vorsätzliche Betriebsspionage der Kolleg*innen.... Ich schüttel nur noch mit dem Kopf....
C.Suthorn 
Es wäre natürlich möglich, ein LLM selbst zu hosten, auf einem Computer, der nicht mit dem Internet verbunden ist und vielleicht mit Strom von den Solarzellen auf dem eigenen Dach (mietwohnung: balkonsolaranlage).
Der Gedanke private Daten in ein mit dem Internet verbundenen Chat-Programm hochzuladen - geschweigedenn die privaten daten einer dritten person - läßt mich eibfach nur erschauern.
Und die, die es trotzdem tun: Die DSGVO sieht dafür eine Geldstrafe von 20 Millionen Euro - oder 4% des Jahresumsatzes wenn diese Summe höher als 20 millionen ist - vor.
Natanox 🇺🇦🇵🇸@Life_is @daswarkeinhuhn @nerdherz Eine KI wie die derzeit verfügbaren ChatGPT Modelle kannst du nicht selber hosten wenn du nicht gerade eine Viertelmillion über hast (und direkten Zugriff zu einem entsprechend starken Modell). On-Premise KI die auch produktiv was nützt benötigt Render-Server im sechsstelligen Kostenbereich.
Ein LLM von Null selbst zu trainieren, ist nicht machbar. Aber Llama oder eine Reihe anderer fertiger LLMs herunterzuladen und zu verwenden ist möglich. Klar, ein paar Gigabyte RAM sind nötig und mit einer leistungsstarken GPU (wie es sie in Gamer-PCs gibt) oder NPU (wie es sie in hochpreisigen Smartphones gibt) läuft es schneller als ohne. Die beantwortung eines Prompts kann sekunden oder minuten dauern - muss aber auch nicht mit tausenden anderen usern geteilt werden.
Mr. Teatime@Natanox @Life_is @daswarkeinhuhn @nerdherz
nö...
Wir hatzen letztens nen Studenten, der ein LLM benutzt hat, um Zusammenfassungen von Python-Routinen zu erzeugen, die alle eine bestimmte nicht-öffentliche Bibliothek benutzen (für die musste er das Modell erstmal nach-trainieren). Der hat ein paar ziemlich fähige Modelle verglichen, die alle auf ner Workstation für ein paartausend Euro liefen.
Die meisten davon hätten auch auf nem Laptop laufen können, nur dann halt etwas zu langsam für die geplante Anwendung.
=> Kurze Texte zusammenfassen und so geht inzwischen ganz gut lokal. Längere Texte *verfassen*, auf der anderen Seite... jau, das wird schwieriger. Output von ChatGPT zu erkennen dürfte einfacher sein als ihn zu erzeugen.