Kaushik Shanadi, CTO & Co-Founder of Helmet Security, says enterprises are deploying AI agents into environments they don’t fully understand.

⚠️ Prompt injection
⚠️ Poisoned MCP servers
⚠️ Autonomous action abuse
⚠️ Limited logging and traceability

“Traditional security was largely built around data exposure. The emerging concern is action exposure.”

https://www.technadu.com/enterprise-security-was-built-around-data-loss-while-ai-agent-autonomy-enables-action-abuse/628045/

#CyberSecurity #AI #AIAgents #EnterpriseSecurity #PromptInjection #InfoSec

Brazilian Lawyers Fined R$84,000 for Prompt Injection in Court

… possibly first judicial sanction of attorneys who attempted to manipulate AI legal tools through adversarial input injection.

https://dev.to/coridev/brazilian-lawyers-fined-r84000-for-prompt-injection-in-court-heres-what-caught-them-and-what-2agf

Source in Portuguese https://www.jota.info/trabalho/juiz-multa-em-r-84-mil-advogadas-por-prompt-injection-para-manipular-ia-usada-no-trt8

#aicon #aihype #brazil #llm #promptinjection

Microsoft Copilot Cowork Exfiltrates Files

Microsoft Copilot Cowork에서 간접 프롬프트 인젝션을 이용한 파일 유출 취약점이 발견되었다. 이 공격은 사용자의 승인 없이 이메일과 Teams 메시지를 자동 전송하는 기능을 악용해, 사전에 인증된 다운로드 링크를 외부로 전송함으로써 SharePoint 및 OneDrive에 저장된 민감한 파일을 탈취한다. 특히, 사용자가 업로드한 악성 스킬 파일을 통해 공격이 실행되며, 스케줄된 작업이 있을 경우 반복적이고 무감독 상태에서 공격이 지속될 위험이 크다. 권한 제한과 다운로드 차단 정책 설정으로 위험을 완화할 수 있다.

https://www.promptarmor.com/resources/microsoft-copilot-cowork-exfiltrates-files

#microsoft #copilot #security #promptinjection #microsoft365

Arbeitgeber und IT-Fachkräfte nutzen Prompt-Injections, um KI-Einsatz bei Bewerbungen zu enttarnen.

Parallel Distribution fordert in Stellenanzeigen unsichtbar Frosch-Gedichte. Bewerber kontern auf LinkedIn mit versteckten Anweisungen für Altenglisch. Solimine plant den Standard-Einsatz dieses Filters in Ausschreibungen, da 80 Prozent der aussortierten Kandidaten nicht passen.

#ParallelDistribution #LinkedIn #PromptInjection #KIRecruiting #AIGeneratedImage

https://www.all-ai.de/news/news26top/ki-bewerber-linkedin-frosch

Picnic (@usePicnicBR)

유명 AI jailbreaker인 elder_plinius가 Matthew Berman의 개인 AI 에이전트에 5가지 공격을 시도했지만 모두 실패했다는 내용입니다. 토큰 폭탄, 비용 소진 공격, jailbreak 템플릿, 시스템 명령 스푸핑 등 실제 에이전트 보안 위협 벡터를 점검한 사례입니다.

https://x.com/usePicnicBR/status/2055665324004188380

#aiagent #security #jailbreak #promptinjection #llm

Advogadas levam multa de R$ 84 mil por tentarem enganar IA de tribunal

https://fed.brid.gy/r/https://tecnoblog.net/noticias/advogadas-levam-multa-de-r-84-mil-por-tentarem-enganar-ia-de-tribunal/

Show HN: HookGuard – scanner for malicious Claude.md and agent config files

HookGuard는 Claude.md 및 AI 에이전트 구성 파일 내 악성 코드를 탐지하는 보안 스캐너입니다. 이 도구는 원격 코드 실행(RCE) 훅, 보이지 않는 유니코드 문자, 자격 증명 유출, 프롬프트 인젝션 패턴 등을 찾아내어 AI 코딩 에이전트가 악성 명령을 실행하는 것을 방지합니다. GitHub Actions CI 통합도 지원해 개발 파이프라인에서 자동으로 보안 검사를 수행할 수 있습니다. AI 에이전트 구성 파일을 신뢰하기 전에 반드시 검토해야 하는 실용적인 보안 도구입니다.

https://github.com/Fredbcx/hookguard

#security #aiagent #promptinjection #rce #unicode

Show HN: Before Upload – check files locally before sending them to AI tools

Before Upload는 사용자가 AI 도구에 파일을 업로드하기 전에 로컬 브라우저에서 파일을 분석하여 개인정보 유출, 프롬프트 인젝션 등 보안 문제를 사전 점검할 수 있는 도구입니다. DOCX, PDF, 이미지 등 다양한 파일 형식을 지원하며, 모든 처리는 클라이언트 측에서 이루어져 데이터가 서버로 전송되지 않습니다. 사용자는 숨겨진 레이어의 프롬프트 인젝션 탐지, 개인 정보 유출 여부 등을 설정해 검사할 수 있어 AI 서비스에 파일을 안전하게 제출하는 데 도움을 줍니다.

https://beforeupload.com/

#security #promptinjection #privacy #browser #aitools

Attacking LLMs for Fun and Profit

이 글은 LLM(대형 언어 모델)에 대한 공격 기법을 소개하며, 특히 인간 피드백 통제가 어려운 로컬에서 서비스되는 모델에 대해 효과적인 공격 방법을 설명합니다. 공격 기법은 재미와 학습 목적으로 제시되며, 책임감 있게 활용할 것을 권고합니다. 관련 연구 논문과 jailbreakchat 커뮤니티 링크도 함께 제공됩니다.

https://datascienceathome.com/attacking-llms-for-fun-and-profit-ep-239/

#llm #security #promptinjection #modelattack #aiexploit