Heute in "ja genau, das wird die erhoffte Schadenspräventionswirkung bringen":

https://www.heise.de/news/Fable-5-blockiert-auch-sicheren-Code-11328448.html

Sicher, Guardrails sind wichtig. Wenn allerdings der durchschnittliche Claude-Nutzer dann endlich mal auf die Idee kommt vielleicht nach defensive / sicherem Code zu fragen oder nach einer Durchsicht & Cleanup für den Moloch in seinem Repo zu fragen und ein 'Computer says no' hört, dann wird das sicher nicht zur Motivation beitragen.
Wohl eher zur aktiven Einfügung von Formulierungen die diese dann als "Arbeitsblockierer" wahrgenommenen Guard Rails aktiv nicht triggern wie "bloß nicht nach sicherem Code fragen".

Kombiniert mit Geschwindigkeit und Volumen der Code Produktion durch Claude & Co ist der Effekt durch aktiv rottigen Code wohl schnell größer als der Effekt der Abwehr der üblichen low(er)-level Kriminellen, Skriptkiddies und Co gebracht hätte. Und ich würde annehmen, dass jeder Akteur mit ausreichender krimineller Energie und Mitteln ohnehin andere Werkzeuge und Zugriffsmöglichkeiten hat um Schaden auf diesem Wege anzurichten.

Abgesehen davon: Wann einmal alle üblichen OWASP10 + defensive Coding Regeln im Claude Code System Prompt? 😆

#claudecode #ai #ClaudeMythos5 #mythosaimodel #fable #Anthropic #owasp #OWASPTopTen #harmreduction #hottake

Anthropic Prepares Rollout of Powerful Mythos AI Model

Anthropic sounded the alarm in April, cautioning that the side that harnesses powerful AI tools like its Mythos model first will gain a significant edge. The company is now preparing to roll out Mythos, but with careful controls in place to mitigate potential security risks.

https://osintsights.com/anthropic-prepares-rollout-of-powerful-mythos-ai-model?utm_source=mastodon&utm_medium=social

#AiDevelopment #EmergingThreats #MythosAiModel #Anthropic #FrontierAi