Stephan W.Mar 21
tobru 🇨🇭 🧑‍🚒

Jemand komplett IT fremdes hat eine Web Applikation mit Hilfe von Youtube und Claude entwickelt (Vibe Coded!), welche Patientendaten speichert. Ich hab das untersucht und nach 30 Minuten hatte ich vollen Lese- und Schreibzugriff auf ALLE besonders schützenswerten Patientendaten.

Willkommen in der neuen Welt von KI, uns Informatiker braucht es bald nicht mehr, sagen sie.

Mar 20 at 11:09pmWeb
Show threadtobru 🇨🇭 🧑‍🚒Mar 21

Das gute: Zumindest wurde rasch reagiert, die Applikation ist nicht mehr einfach so erreichbar (HTTP Basic Auth davor) und die Daten nicht mehr direkt einsehbar.

Das schlechte: Die Antwort ist 100% KI generiert und die KI generierten Massnahmen zeigen: Die Person hat keine Ahnung was sie macht.

Rechtlich schwierig, vor allem mit Sicht auf nDSG und Berufsgeheimnis.

Show threadFabian ¯\_(ツ)_/¯Mar 21
@tobru und die credentials sind vmtl admin:admin?
Show threadtobru 🇨🇭 🧑‍🚒Mar 22
@BafDyce API key in HTML source code
Show threadMayleenMar 22
@tobru
Wtf. Es ist ja eine sache KI für sowas zu nutzen. Es ist aber ne zweite, ohne jede Faktenkenntnis oder review durch leute mit Erfahrung dazu, sowas hinzustellen. Das ist auf zwei Ebenen einfach zum Schreien und davon laufen.
😤
@BafDyce
Show threadRené Moser (resmo) レネ2d ago
@tobru @BafDyce die WTFs per Minute Rate erholt sich heute Abend gar nicht mehr WTF WTF WTF
Show threaddatenwolfMar 22

@tobru

Die Zeiten von Responsible Disclosure sind vorbei. Es wird Zeit eine Strategie "verbrannte Erde" anzuwenden: Sofortige Meldung bei den entsprechenden Behörden, falls besonders schützenswerte personenbezogene Daten betroffen sind Anzeige wg. Verletzung des Berufsgeheimnisses.

Sobald das genügend oft, mit ausreichender Empfindlichkeit durchgezogen wird, mit entsprechend wirtschaftlich spürbaren Konsequenzen, entsteht ökonomisch-sozialer Druck solchen Blödsinn sein zu lassen.

Show threadtobru 🇨🇭 🧑‍🚒6d ago
Und nun auch als Blog zum Teilen: https://www.tobru.ch/eine-ki-vibe-coding-horrorgeschichte/
Eine KI Vibe Coding Horrorgeschichte

Eine medizinische Fachperson baute mit KI eine Patientenverwaltungs-App, legte alle Patientendaten ungeschützt im Internet offen und sendete Sprachaufnahmen ohne Einwilligung an KI-Dienste. Wahrscheinlich unter Verletzung des nDSG und weiteren Gesetzen.

Tobias Brunner aka tobru
Show threadMichael Stapelberg 🐧🐹😺6d ago

@tobru Ich hätte (naiverweise?) erwartet, dass alle Personen in der Medizin entsprechend auf Sensibilität der Daten und Thematik geschult werden.

Die Person, von der du erzählst, scheint sich wirklich keine Gedanken gemacht zu haben, ob es *sinnvoll* / *sicher* ist…

Show threadtobru 🇨🇭 🧑‍🚒6d ago
@zekjur Diese Naivität hatte ich auch, nun bin ich eines Besseren belehrt.
Show threadSir l33tname5d ago
@zekjur @tobru leider sind Menschen die Medizin Sachen machen halt auch einfach nur Menschen
Show threadRené Moser (resmo) レネ2d ago
@tobru WTF 🤬 nei es isch noni 1. April. WTF 😳
Show threadFranckRaischMar 21
@tobru bisher hieß es immernoch: wenn die Software auf den Markt kommt, dann sparen wir Zeit und IT Personal. Immer war dann aber das Gegenteil der Fall.
Show threadOrtwin PinkeMar 21

@tobru eine Entwicklung vor der viele, so auch ich, schon lange warnen, die andere aber aus "Kostengründen" nicht hören wollen.

Wir graben uns unser eigenes digitales Grab wenn wir mit #KI weiter so arbeiten wie bisher.

Show threadDerJoshDerMar 21
@oldperl @tobru
Das kommt darauf an, wie wir aktuell damit arbeiten. Meine für lokale Anwendung gedachten, mit lokaler KI gevibeten kleinen Apps tun was sie sollen ohne Risiko.
Vielleicht wäre es auch gar nicht schlimm gewesen, hätte der Maestro Claude zum Abschluss noch gebeten, sein Produkt gegen Angriffe zu härten?
Experten wird man immer brauchen, simples fällt zT. weg. Die Idee hinter Programmiersprachen war immer Verständlichkeit, jetzt kann man mit "normaler" Sprache programmieren!
Show threadRainer BlankenagelMar 21
@DerJoshDer @oldperl @tobru
Das Problem ist nicht die Sprache, die kann man lernen.
Das Problem sind Konzepte und Logik, und Vibecoding richtet sich zentral an Menschen, die genau diese Elemente nicht beherrschen und gern ignorieren möchten.
Viel Spaß damit.
Show threadYoraMar 23
@oldperl Wir graben uns alle möglichen Gräber gleichzeitig weil wir die Kapital-Parasiten einfach machen lassen anstatt sie ins Gefängniss zu stecken wo sie hin gehören.
Show threadHolger_MarlowMar 21

@tobru deswegen möchte ich keine Patienten App.

Dann könnte ich meine Patientenakte auch aufm t Shirt drucken und in der Öffentlichkeit tragen.

Show threadtobru 🇨🇭 🧑‍🚒Mar 21
@Holger_Marlow Es geht hier nicht um eine App, sondern um eine Webapplikation in welcher der Therapeut seine Informationen abspeichert. Macht es nicht besser.
Show threadHolger_MarlowMar 21
@tobru stimmt, das macht es nicht besser.
Show threadwaldiMar 21
@tobru Du hast die verantwortlichen Datenschutzbehörden bereits informiert? Art 9-Daten ist dann doch wirklich blöd.
Show thread808Mar 21

@tobru

#postprivacy

Show threadEnno LenzeMar 21
@tobru naja aber warum lässt du es dann nicht! Du gefährdest doch die Wirtschaft! :D
Show threadRobert SanderMar 21
@tobru Sobald wir ausgestorben sind, wird es auch niemanden mehr geben, der die Sicherheitslücken findet.
Problem solved.
Show threadDingswartMar 21
@tobru Die neue Herausforderung an den modernen Vibe-Coder (Auftraggeber) ist, den Auftrag an die KI zur Softwareerstellung so zu formulieren,
als ob a) der Auftragnehmer (KI) ein manipulativer schmerzunempfindlicher Soziopath wäre und
als ob b) als Einsatzgebiet des Softwareprodukts die Küche eines Kindergartens mit Verbindungstür zu einem Hochsicherheitslabor vorgesehen wäre und
als ob c) der Vibe-Coder seine beiden Nieren als Sicherheit hinterlegt hätte.
Show threadpatrislav ♾️ #RIPNatenomMar 22
@a_goodall_spaceship yOuRe pRoMpTiNg it wRoNg @tobru
Show threadHannesMar 21
@tobru wenn es keine Informatiker mehr gibt, kann auch keiner diese Lücken finden. Ist doch ganz einfach 🧠
Show thread¯\_(ツ)_/¯Mar 21
@tobru pentester (und kriminelle) reiben sich die Hände
Show threadEckes Mar 22
@tobru das argument wäre stärker wenn informatiker bessere Projekte in der healthcare liefern wuerden
Show threadKielKontrovers BlogMar 22
@tobru ja, die Leute verstehen nicht den Unterschied zwischen "erledigt die gestellte Aufgabe" und "wie wird die Aufgabe erledigt?" Aber wie sollten sie auch. Bin aber auch erstaunt wie viele ITler gerade auf den trend aufspringen. vielleicht weil man es in der Branche gewohnt ist, keine Mode auszulassen und immer auf the latest und greatest zu setzen?
Show threadChris | cyMar 22
@tobru das steht in komplettem Kontrast zu bisheriger Patientendaten-Software, die ohne AI schlecht entwickelt wurde!
*scnr*
Show threadaudin webmanMar 22
@tobru A Fool with a Tool is still a Fool.
Show thread𝗣𝗠𝗝 ⚫Mar 22

@tobru

die ITler (und zwar die die wirklich programmieren können) wird ins zukunft mehr benötigen denn je

Show threadKristianMar 22
Grundgütiger. 🙈
Show threadDroid Boy Mar 23
@tobru Nach jeder Automatisierungswelle brauchte man schon immer mehr Leute, weil es mehr Arbeit gab.
Show threadYoraMar 23

@tobru Alle Leute können Chemikalen mischen und dann kommt was raus.
Die Kunst ist sich dabei nicht selbst in die Luft zu sprengen.

Aber das Internet ist immer noch so sehr Neuland, dass die meisten Leute noch nicht wissen, dass man sich sowas selbst gemischtes nicht unbedingt spritzen sollte.

Show threadDanilo3d ago
@tobru dem EDÖB melden?
Show threadtobru 🇨🇭 🧑‍🚒3d ago
@dbrgn Working on it