Show HN: Cybersecurity Phishing Guard for Chrome using local LLMs for privacy
한 개발자가 개인 정보 보호를 위해 로컬 LLM을 활용한 크롬 확장 프로그램을 개발했다. 이 확장 프로그램은 웹페이지를 자동 또는 수동으로 로컬 LLM 모델에 입력해 6가지 신호를 분석하여 피싱 공격 여부를 판단한다. 향후 크롬에 기본 탑재될 가능성도 제기되고 있다. 이는 로컬 AI 모델을 활용한 보안 분야의 새로운 응용 사례로 주목할 만하다.

https://github.com/tommyjepsen/local-llm-phishing-guard-for-chrome

#cybersecurity #phishing #chrome #localllm #privacy

Running a Local LLM Coding Server on MacBook Pro M5 Pro 48 GB
MacBook Pro M5 Pro 48GB에서 로컬 코딩 AI 서버를 구축하는 과정을 상세히 소개한다. mlx-lm 서버는 메모리 관리 문제로 장시간 대화 시 크래시가 발생했으나, Ollama는 고정된 컨텍스트 크기와 최적화된 모델로 안정적인 운영이 가능했다. 특히 Qwen 3.6 35B-A3B-mxfp8 모델이 Apple Silicon에 최적화되어 높은 품질과 안정성을 제공하며, OpenCode를 통해 네트워크 내에서 편리하게 접근할 수 있다. 이 사례는 클라우드 없이도 강력한 로컬 LLM 코딩 서버 구축이 가능함을 보여준다.

https://blog.kulman.sk/running-local-llm-coding-server/

#localllm #applesilicon #qwen #ollama #codingai

You realise that a local LLM is still an LLM right?

With all the dangers to you and downsides for everyone, and with a fraction of the bits you presumably like (in slow motion), and still controlled by a handful of sociopathic billionaires who will manipulate and enslave you as soon as make you destitute 🤔 including by putting toxic things in those little black boxes you are eagerly installing on your device.

#localLLM #LLMs

DeepSeek V4 and Kimi K2.6 challenge frontier labs on price and benchmarks, a Hawley bill to ID-verify chatbot users clears committee, and Microsoft quietly attributed commits to Copilot without its use.

https://ai0.news/posts/2026-05-03-daily-digest/

#AI #AiPolicy #OpenSource #LocalLLM

Sudo su (@sudoingX)

DGX Spark에서 Nemotron 3 Omni Q8을 Hermes Agent로 구동해 초당 56토큰 속도를 기록했다. 256K 컨텍스트를 33GB 통합 메모리에서 운영하며, 로컬 에이전트 워크플로가 기대 이상으로 강력하다는 점을 강조한 테스트 결과다.

https://x.com/sudoingX/status/2050274286892667338

#nemotron #dgxspark #localllm #agent #multimodal

#LocalLLM

Meine lokale KI auf Ryzen 9 9900x (64GB RAM) - Radeon R9700 (32 GB VRAM) - Arch Linux

Model: Qwen3.6-27B-Q4 mit Qwen3.5-4B (Spec-Decoding) via llama.cpp-hip mit spec-ngram-mod und 131k Token-Window

Mistral dropped a dense 128B Medium 3.5 with 256k context, IBM refreshed Granite 4.1, and Elon Musk had a rough day testifying in the OpenAI trial. Nvidia admits compute now costs more than the humans.

https://ai0.news/posts/2026-04-30-daily-digest/

#AI #OpenSource #LocalLLM #OpenAI

So today is vLLM setup day as I want to run a few experiments with parallel inferencing.

Funnily LLM inference does not need 2 times the time and energy of you batch 2 request at the same time. So what I am trying to do is to have the same model come up with 2 or 3 different solutions for a functions or test so I then can choose the one that needs less editing.

Nothing that is not a year old already but regardless i imagine it super useful in a local only setup.

#ai #llm #localLlm #vllm

Has somebody researched #localAI #localLLM options for (agentic) coding?

Der Standard / Daniel Koller published an extensive read, based on MacMini with 16GB RAM.

Current price point for MacMini M4 Pro with 48GB oder 64GB RAM would be ~2'200 €.

That's quite an investement, but if AI providers all switch to usage-based pricing, it might become a viable option? 🤔 Disclaimer: You won't get the same #ClaudeCode experience out of this (yet)? That's the bet one would make - am I getting this right?

https://www.derstandard.at/story/3000000317976/meine-hardware-meine-ki-wie-nuetzlich-sind-lokale-llms?ref=article
#vibecoding #AI