Mastodawn

tobru 🇨🇭 🧑‍🚒

Jemand komplett IT fremdes hat eine Web Applikation mit Hilfe von Youtube und Claude entwickelt (Vibe Coded!), welche Patientendaten speichert. Ich hab das untersucht und nach 30 Minuten hatte ich vollen Lese- und Schreibzugriff auf ALLE besonders schützenswerten Patientendaten.

Willkommen in der neuen Welt von KI, uns Informatiker braucht es bald nicht mehr, sagen sie.

tobru 🇨🇭 🧑‍🚒1d ago

Das gute: Zumindest wurde rasch reagiert, die Applikation ist nicht mehr einfach so erreichbar (HTTP Basic Auth davor) und die Daten nicht mehr direkt einsehbar.

Das schlechte: Die Antwort ist 100% KI generiert und die KI generierten Massnahmen zeigen: Die Person hat keine Ahnung was sie macht.

Rechtlich schwierig, vor allem mit Sicht auf nDSG und Berufsgeheimnis.

Fabian ¯\_(ツ)_/¯16h ago

@tobru und die credentials sind vmtl admin:admin?

tobru 🇨🇭 🧑‍🚒8h ago

@BafDyce API key in HTML source code

datenwolf 5h ago

Die Zeiten von Responsible Disclosure sind vorbei. Es wird Zeit eine Strategie "verbrannte Erde" anzuwenden: Sofortige Meldung bei den entsprechenden Behörden, falls besonders schützenswerte personenbezogene Daten betroffen sind Anzeige wg. Verletzung des Berufsgeheimnisses.

Sobald das genügend oft, mit ausreichender Empfindlichkeit durchgezogen wird, mit entsprechend wirtschaftlich spürbaren Konsequenzen, entsteht ökonomisch-sozialer Druck solchen Blödsinn sein zu lassen.

FranckRaisch 1d ago

@tobru bisher hieß es immernoch: wenn die Software auf den Markt kommt, dann sparen wir Zeit und IT Personal. Immer war dann aber das Gegenteil der Fall.

Ortwin Pinke 1d ago

@tobru eine Entwicklung vor der viele, so auch ich, schon lange warnen, die andere aber aus "Kostengründen" nicht hören wollen.

Wir graben uns unser eigenes digitales Grab wenn wir mit #KI weiter so arbeiten wie bisher.

DerJoshDer 1d ago

@oldperl @tobru
Das kommt darauf an, wie wir aktuell damit arbeiten. Meine für lokale Anwendung gedachten, mit lokaler KI gevibeten kleinen Apps tun was sie sollen ohne Risiko.
Vielleicht wäre es auch gar nicht schlimm gewesen, hätte der Maestro Claude zum Abschluss noch gebeten, sein Produkt gegen Angriffe zu härten?
Experten wird man immer brauchen, simples fällt zT. weg. Die Idee hinter Programmiersprachen war immer Verständlichkeit, jetzt kann man mit "normaler" Sprache programmieren!

Gero Stein 1d ago

@DerJoshDer @oldperl @tobru Guter Gedanke, aber die „normale“ Sprache beherrschen viele auch schon nicht bzw haben erhebliche Schwierigkeiten, sich zu artikulieren. Es wird ohne Fachlichkeit und Wissen kein professionelles Produkt für einen produktiven Einsatz; als Hobby, immer gerne.

DerJoshDer 1d ago

@tdr @oldperl @tobru
Das sehe ich tatsächlich anders.
KI: Solala.
Mensch: Divers.
Mensch plus KI > Mensch
Mit anderen Worten: Ein guter Programmierer / Fachmann kann mit KI besser oder zumindest schneller Ergebnisse erzielen als ohne.
Es ist ein Werkzeug, welches, geschickt eingesetzt, ordentlich Zeit spart. So ist es zumindest bei mir.
Dass Sprache zunehmend degradiert beobachte ich zwar auch, sehe hier aber den Kontext nur bedingt.

Gero Stein 1d ago

@DerJoshDer @oldperl @tobru Da widersprechen wir und ja nicht: ich schreibe ja, dass es Fachlichkeit und Wissen braucht; aber der OP beschreibt ja den Fall, dass jemand ohne Fachlichkeit und ohne Wissen eine Anwendung erstellt, die produktiv gehen soll. Das geht halt nicht.

Meine Antwort konzentrierte sich nicht auf die Erlangung höherer Arbeitsgeschwindigkeit (sprich: Quantität) durch KI, sondern bezieht sich auf die Qualität der Arbeit unabhängig vom Werkzeug.

DerJoshDer 1d ago

@tdr @oldperl @tobru
Das ist in der Tat wahr, dass die KI den Smarten hilft, während es die Unfähigen weiter in die Abhängigkeit wirft, ist sicher eine Lehre, die wir ziehen müssen.

Expertenkommision Cyberunfall 6h ago

@DerJoshDer @tdr @oldperl @tobru

Das nehme ich gleich mal mit in einen Workshop zum Thema, dessen Ergebnis in einem Wahlprogramm landen soll.
Achtet im Q4 mal in NRW drauf

Nachtrag: ich werde den Begriff „Unfähigen“ nicht verwenden. Aus Gründen.

mirabilos 14h ago

@oldperl @tdr @DerJoshDer @tobru nein.

Ortwin Pinke 1d ago

@tdr @DerJoshDer @tobru

Ist so - und ja, habe ich das entsprechende Know-how, so kann ich mit #KI vieles machen.
Doch ob ich wirklich schneller bin? Käme auf den Versuch an, zumal ich erst kürzlich einen Artikel gelesen habe, der daran zweifeln lässt.
Aber auch für die Profis sehe ich da keine gute Entwicklung, denn KI macht dumm.
Wer selbst noch programmieren kann, kann sich in generierten Code einlesen. Was aber machen die, die nur mit KI-Programmierung aufgewachsen sind?

Rainer Blankenagel 1d ago

@DerJoshDer @oldperl @tobru
Das Problem ist nicht die Sprache, die kann man lernen.
Das Problem sind Konzepte und Logik, und Vibecoding richtet sich zentral an Menschen, die genau diese Elemente nicht beherrschen und gern ignorieren möchten.
Viel Spaß damit.

Holger_Marlow 1d ago

@tobru deswegen möchte ich keine Patienten App.

Dann könnte ich meine Patientenakte auch aufm t Shirt drucken und in der Öffentlichkeit tragen.

tobru 🇨🇭 🧑‍🚒1d ago

@Holger_Marlow Es geht hier nicht um eine App, sondern um eine Webapplikation in welcher der Therapeut seine Informationen abspeichert. Macht es nicht besser.

Holger_Marlow 1d ago

@tobru stimmt, das macht es nicht besser.

@tobru Du hast die verantwortlichen Datenschutzbehörden bereits informiert? Art 9-Daten ist dann doch wirklich blöd.

Enno Lenze 1d ago

@tobru naja aber warum lässt du es dann nicht! Du gefährdest doch die Wirtschaft! :D

Robert Sander 1d ago

@tobru Sobald wir ausgestorben sind, wird es auch niemanden mehr geben, der die Sicherheitslücken findet.
Problem solved.

Dingswart 23h ago

@tobru Die neue Herausforderung an den modernen Vibe-Coder (Auftraggeber) ist, den Auftrag an die KI zur Softwareerstellung so zu formulieren,
als ob a) der Auftragnehmer (KI) ein manipulativer schmerzunempfindlicher Soziopath wäre und
als ob b) als Einsatzgebiet des Softwareprodukts die Küche eines Kindergartens mit Verbindungstür zu einem Hochsicherheitslabor vorgesehen wäre und
als ob c) der Vibe-Coder seine beiden Nieren als Sicherheit hinterlegt hätte.

patrislav ♾️ #RIPNatenom 5h ago

@a_goodall_spaceship yOuRe pRoMpTiNg it wRoNg @tobru

@tobru wenn es keine Informatiker mehr gibt, kann auch keiner diese Lücken finden. Ist doch ganz einfach 🧠

¯\_(ツ)_/¯15h ago

@tobru pentester (und kriminelle) reiben sich die Hände

@tobru das argument wäre starrier wenn informatiker bessere Projekte in der healthcare liefern wuerden

KielKontrovers Blog 7h ago

@tobru ja, die Leute verstehen nicht den Unterschied zwischen "erledigt die gestellte Aufgabe" und "wie wird die Aufgabe erledigt?" Aber wie sollten sie auch. Bin aber auch erstaunt wie viele ITler gerade auf den trend aufspringen. vielleicht weil man es in der Branche gewohnt ist, keine Mode auszulassen und immer auf the latest und greatest zu setzen?

Chris | cy 5h ago

@tobru das steht in komplettem Kontrast zu bisheriger Patientendaten-Software, die ohne AI schlecht entwickelt wurde!
*scnr*

audin webman 5h ago

@tobru A Fool with a Tool is still a Fool.

𝗣𝗠𝗝 ⚫5h ago

die ITler (und zwar die die wirklich programmieren können) wird ins zukunft mehr benötigen denn je

Kristian 5h ago

Grundgütiger. 🙈