RT @PawelHuryn: Es gibt einen Haken, über den niemand spricht. Gemma 4 nutzt geteilte KV-Cache-Layer – die letzten Layer verwenden K/V-Tensoren aus früheren Layern, anstatt eigene zu berechnen. Das ist der Grund, warum es auf einen Laptop passt. Aber genau diese Architektur verhindert die Cache-Wiederverwendung in llama.cpp. Jede Anfrage wertet den gesamten Prompt von Grund auf neu aus. Bei einem Systemprompt von 30–40K Token (z. B. Claude + MCPs) bedeutet das 60–90 Sekunden Wartezeit vor dem ersten Token. Akzeptabel für Single-Turn-Fragen und Antworten. Unbrauchbar für Agenten-Loops, bei denen jeder Tool-Aufruf eine neue Inferenz auslöst. Vor ein paar Tagen habe ich einen Bug gemeldet: github.com/ggml-org/llama.cp… Bevor dies behoben ist, hat das kostenlose Modell einen versteckten Preis – eure Zeit. Min Choi (@minchoi) Googles Gemma 4 ist ziemlich krass. Man kann es jetzt in 3 Schritten lokal mit OpenClaw ausführen. 1. Ollama installieren 2. Gemma 4 Modell ziehen 3. OpenClaw mit Gemma als Backend starten. Private lokale KI-Agenten in wenigen Minuten. Hardware-Leitfaden: > E2B → jedes moderne Smartphone > E4

Mehr auf Arint.info

#Claude #ggml #github #llama #mit #Ollama #arint_info

https://x.com/PawelHuryn/status/2042276953470931197#m

llama.cpp는 의존성 없는 C/C++ 기반 경량 LLM 추론 엔진으로, Apple Silicon·x86·RISC‑V 최적화, CUDA/HIP/MUSA GPU, Vulkan/SYCL, CPU+GPU 하이브리드, 1.5~8비트 양자화와 Hugging Face GGUF 지원을 제공한다. WebUI·OpenAI 호환 서버·다양한 모델과 언어 바인딩을 갖춘 ggml 개발 플랫폼으로 로컬·클라우드에서 손쉽게 고성능 추론을 구현할 수 있다.

https://github.com/TheTom/llama-cpp-turboquant

#llama #ggml #ai #inference #machinelearning

MitM-прокси для LLM

Многие разработчики в последнее время используют облачные LLM для генерации программного кода, в том числе с помощью агентов. Но это вызывает как минимум две проблемы: Утечка информации: мы не знаем, какие данные LLM передаёт в облако Бесконтрольный расход токенов, особенно в случае автоматических агентов, которые запускаются в автономную работу на длительный период Для этого есть специальные инструменты мониторинга. Например, Tokentap (бывший Sherlock) отслеживает использование токенов для LLM CLI в реальном времени на панели в консоли. Такой MitM-прокси полезен для информационной безопасности и просто для учёта расходов.

https://habr.com/ru/companies/globalsign/articles/1016612/

#MitM #Hugging_Face #llamaccp #ggml #Local_AI #Gemini_CLI #Claude_Code #OpenAI_Codex #mitmproxy #HTTPSпрокси

[GGML·llama.cpp, Hugging Face 합류

Hugging Face가 llama.cpp와 GGML 엔진의 핵심 개발자 Georgi Gerganov을 인수하며, 오픈소스 로컬 AI 생태계의 두 축이 통합되었습니다. 이는 로컬 LLM 실행의 표준 엔진인 llama.cpp와 GGML 기반 기술을 통해 중앙 서버 의존 없이 고품질 LLM을 로컬에서 실행할 수 있는 인프라를 강화하는 방향성을 의미합니다.

https://news.hada.io/topic?id=26954

#huggingface #llama.cpp #ggml #openai #llm

GGML·llama.cpp, Hugging Face 합류, 로컬 추론 오픈소스 단일화

https://aisparkup.com/posts/9490

https://winbuzzer.com/2026/02/21/ggmlai-joins-hugging-face-long-term-open-source-local-ai-xcxwbn/

Open-Source llama.cpp Finds Long-Term Home at Hugging Face

#AI #HuggingFace #AIInference #OpenSourceAI #OnDeviceAI #GGML #LlamaCpp #LocalAI #GeorgiGerganov

Simon Willison (@simonw)

ggml.ai가 Hugging Face에 합류했다는 소식을 공유. Hugging Face는 Transformers 오픈소스 라이브러리의 주요 관리자로, 이번 합류는 로컬 모델 생태계 발전에 긍정적인 기대를 모음. ggml.ai는 3월부터 로컬 모델 혁신을 이끌어 온 조직으로, 오픈소스 기반 AI 모델 개발의 새로운 전환점을 의미함.

https://x.com/simonw/status/2024895405146997002

#huggingface #ggml #opensource #transformers #localai

Ettore Di Giacinto (@mudler_it)

ggml-org의 오픈소스 프로젝트 'llama.cpp' 관련 GitHub PR(및 코멘트)을 링크하며 중요한 변경이나 논의가 있음을 시사합니다. llama.cpp는 LLaMA 계열 모델 실행을 위한 경량 C++/ggml 기반 라이브러리로, PR 업데이트나 토론은 오픈소스 추론·호환성 향상과 관련된 중요한 이슈일 가능성이 큽니다.

https://x.com/mudler_it/status/2021505757284614607

#llama.cpp #ggml #opensource #inference

Aivan Monceller (@aivandroid)

llama.cpp(ggml_org)가 Anthropic API를 네이티브로 지원하기 시작했다는 개발자 도구 업데이트입니다. 이를 통해 GLM-4.7-Flash( Zai_org )를 Claude Code 내에서 프록시 없이 사용 가능해졌고, UnslothAI의 4비트 양자화 설정을 3090 GPU에서 테스트 중이라는 내용입니다.

https://x.com/aivandroid/status/2014216608462630924

#llama.cpp #anthropic #glm4.7 #quantization #ggml

Deli (@deligong)

Claude Code와 GLM-4.7-Flash(Q8_K_XL)를 이용해 llama.cpp 기반으로 Flappy Bird를 재구현했다고 보고합니다. 64GB MacBook Pro(M4)에서 로컬 모델로 실행했으며 속도는 빠르지 않지만 로컬 모델 치고 코드 품질이 매우 뛰어나다고 평가합니다. 로컬 LLM 실용성 및 코드 품질 시연 사례입니다.

https://x.com/deligong/status/2014019829968281996

#localllm #claude #glm4.7flash #llama.cpp #ggml