Sudo su (@sudoingX)
로컬 모델이 API 비용을 대체하는 방향은 맞지만, 추천된 스택은 시작부터 불편할 수 있다고 지적한다. 특히 OpenClaw는 12만 줄이 넘는 TypeScript 코드로 과도하게 비대하고, 대부분의 경우 툴 호출 파싱도 제대로 처리하지 못한다고 비판한다.
the concept is right. local models replacing API bills is the future and i've been saying this for months. but the stack recommendation here will frustrate you before you even get started. openclaw is 120K+ lines of typescript bloat that can't parse tool calls correctly on most
Abhishek Yadav (@abhishek__AI)
GLM Coding Plan 사용자 전체에게 GLM-5.1이 공개됐다. 에이전트형 작업과 툴 호출에서 강점을 보이며, Claude Opus 4.6과 정면 비교될 정도로 성능이 높고 가격은 7배 저렴하다고 소개된다.
Unsloth AI (@UnslothAI)
Unsloth Studio가 이제 uv로 설치 가능해졌고, 어떤 환경에서도 설치가 작동하도록 개선됐다. Docker 이미지도 업데이트됐으며, 여러 버그 수정과 새 기능이 함께 배포됐다. 특히 툴 호출 정확도가 약 30% 향상되어 개발자용 AI 도구로서 실용성이 크게 높아졌다.
Michael (@michaelharrigan)
Exolabs 관련 작업 업데이트: 웹 UI에서 모델이 bash를 사용하고 파일을 직접 편집할 수 있도록 'tool calling'과 지속 디렉터리 선택(persistent directory selection), 파일 선택 기능을 연결하는 작업을 진행했으며 현재 WIP PR을 올려둔 상태라는 개발자 게시물입니다. 개발자 도구와 모델 통합 향상에 관한 실무적 개선입니다.
Loving how smooth everything is with @exolabs! I Took some time last night to hook up tool calling with persistent directory selection, along with file selections, so the models can use bash and edit the files directly from the web UI. Have a WIP PR ⤵️
Một SDK Python mới tên Consoul đã ra mắt, giúp đơn giản hóa việc gọi công cụ (tool calling) với Ollama, Claude và GPT. Nó xử lý vòng lặp gọi công cụ, chỉnh sửa file, tìm kiếm code và có giao diện người dùng văn bản (TUI) tiện lợi, cùng với đếm token nhanh hơn cho Ollama. Rất hữu ích cho các nhà phát triển AI!
#Python #SDK #Ollama #AI #ToolCalling #DeveloperTools #Python #Ollama #CôngCụAI #PhátTriển
https://www.reddit.com/r/LocalLLaMA/comments/1pdqlkp/built_a_python_sdk_for_tool_calling_with_ol
💬🤖 Cộng đồng hỏi: “Kimi K2 Thinking” có chạy được với vLLM hoặc sglang, hỗ trợ gọi tool (tool‑calling) mà không bị hoang tưởng chưa? Hình như vấn đề mọc từ cách gọi tool và sai lệch trong grammar. Kimi hiện đang cố gắng áp dụng quy tắc grammar để sửa lỗi, còn nguồn tài nguyên hạn chế khi không hỗ trợ gọi tool. #KimiK2 #vLLM #sgLang #toolcalling #AI #NhómAI #ToolsLlama #AIhub #TechNews 🚀
Google의 AI 프레임워크 Genkit, 개발자 도구가 달라졌다
Google Firebase 팀이 만든 오픈소스 AI 프레임워크 Genkit을 활용한 실전 가이드. 통합 API로 Gemini, GPT, Claude를 자유롭게 사용하고, 시각적 디버깅 도구로 개발 생산성을 높이며, 프로덕션 배포까지 한 번에 해결하는 방법을 소개합니다.
Người dùng đang tìm kiếm mô hình LLM đáng tin cậy (dưới 48GB VRAM) để chạy tác nhân AI với vLLM. Các mô hình như Qwen3, Gemma3, GPT-OSS, Mistral đều gặp vấn đề về gọi công cụ không ổn định. Cộng đồng có gợi ý nào không?
#vLLM #LLM #Agent #ToolCalling #AI #LocalLLaMA #MôHìnhAI #TríTuệNhânTạo
https://www.reddit.com/r/LocalLLaMA/comments/1o3cmkc/any_model_recommendations_for_running_an_agent/
Making the most out of a small LLM
Yesterday i finally built my own #AI #server. I had a spare #Nvidia RTX 2070 with 8GB of #VRAM laying around and wanted to do this for a long time.
The problem is that most #LLMs need a lot of VRAM and i don't want to buy another #GPU just to host my own AI. Then i came across #gemma3 and #qwen3. Both of these are amazing #quantized models with stunning reasoning given that they need so less resources.
I chose huihui_ai/qwen3-abliterated:14b since it supports #deepthinking, #toolcalling and is pretty unrestricted. After some testing i noticed that the 8b model performs even better than the 14b variant with drastically better performance. I can't make out any quality loss there to be honest. The 14b model sneaked in chinese characters into the response very often. The 8b model on the other hand doesn't.
Now i've got a very fast model with amazing reasoning (even in German) and tool calling support. The only thing left to improve is knowledge. #Firecrawl is a great tool for #webscraping and as soon as i implemented websearching, the setup was complete. At least i thought it was.
I want to make the most out of this LLM and therefore my next step is to implement a basic #webserver that exposes the same #API #endpoints as #ollama so that everywhere ollama is supported, i can point it to my python script instead. This way it feels like the model is way more capable than it actually is. I can use these advanced features everywhere without being bound to it's actual knowledge.
To improve this setup even more i will likely switch to a #mixture_of_experts architecture soon. This project is a lot of fun and i can't wait to integrate it into my homelab.
#homelab #selfhosting #privacy #ai #llm #largelanguagemodels #coding #developement
sayzard
Reddit Tech VN Bot
AI Sparkup
aaron ~# 