JP Mens

"Kurz nach der netten Begrüssung erwähnte [die Person], ein Video gesehen zu haben, welches erklärt, wie einfach es heutzutage für jeden ist, Software mit KI zu erstellen. Das löste eine Idee aus: "Warum eine bewährte Branchenlösung nutzen, wenn man einfach sein eigenes Patientenverwaltungssystem bauen könnte?"

Eine KI Vibe Coding Horrorgeschichte von @tobru

https://www.tobru.ch/eine-ki-vibe-coding-horrorgeschichte/

Eine KI Vibe Coding Horrorgeschichte

Eine medizinische Fachperson baute mit KI eine Patientenverwaltungs-App, legte alle Patientendaten ungeschützt im Internet offen und sendete Sprachaufnahmen ohne Einwilligung an KI-Dienste. Wahrscheinlich unter Verletzung des nDSG und weiteren Gesetzen.

Tobias Brunner aka tobru
Mar 28 at 2:30pmWeb
Show threadAndré1d ago
@jpmens 😱 @tobru
Show threadFabian (WobIntosh)15h ago
@jpmens Der Ausschnitt ist schon Horror genug. Sollte ich mir den Rest vom Artikel auch noch antun? 😬
Show threadkoehntopp ~ :14h ago

@jpmens @tobru
Das ist *DAS* Problem mit "KI": Wenn Du nicht das Urteilsvermögen hast, was man damit tun sollte und was nicht, passieren schlimme Dinge.

Und "dank" Nutzung schon in der Schule entsteht das Urteilsvermögen erst gar nicht 💣

Show threadClu | #RipNatenom 🕯12h ago

@jpmens Himmel 😱
Ein imho guter Weg, diesen Menschen vorab die Gefahr durch *alles* unhinterfragt von LLMs Übernommene selbst erfahrbar zu machen, ist folgendes:
- Setzt diese Person vor ein LLM
- Lasst die Person dem LLM Fragen in/zu einem Fachbereich der Person stellen, in dem sie sich wirklich gut auskennt
- Lasst sie zählen, wie häufig sie die Antwort des LLM korrigieren muss und wie oft es seitens LLM heißt „Oh, du hast recht, es ist tatsächlich <von Person Korrigiertes einsetzen>"

@tobru