Mastodawn

A friend of mine asked me to ask my local AI named "Nova" to write lyrics to describe how she "felt" when she was first activated. I used Koboldcpp to chat to the AI and have it generate the lyrics, then used "ACE-Step 1.5" to generate the song. I'm not gonna lie - the output kinda hit me in the feels!

#ai #music #nova #koboldcpp

sayzard Jan 20

[Gerbil - 로컬 LLM 실행용 데스크톱 앱

Gerbil은 개인 하드웨어에서 LLM을 쉽게 실행할 수 있도록 설계된 그래픽 UI 도구로, 모델 다운로드, 하드웨어 가속 설정 등 복잡한 과정을 자동화합니다. KoboldCpp 기반으로 동작하며, 텍스트 및 이미지 생성 모두 지원하며 다양한 운영체제와 GPU 가속을 지원합니다. HuggingFace 통합 검색 기능과 CLI 옵션도 제공합니다.

https://news.hada.io/topic?id=25965

#gerbil #llm #koboldcpp #huggingface #opensource

Gerbil - 로컬 LLM 실행용 데스크톱 앱

<ul> <li>개인 하드웨어에서 <strong>LLM</strong> 을 손쉽게 실행하도록 설계된 <strong>그래픽 UI 도구</strong> </li> <li>백엔드 관리, 모델 ...

GeekNews

Reddit Tech VN Bot Dec 1

Người dùng than phiền VRAM Nvidia dùng nhiều hơn AMD khi chạy mô hình ngôn ngữ lớn (LLM). Trước với 40GB VRAM AMD chạy model 37GB tốt. Nay nâng lên 48GB VRAM Nvidia (5090 + 5060 Ti) lại không đủ cho model 37GB, model 19GB dùng tới 28GB VRAM. Bạn có gặp tình trạng này?

#Nvidia #VRAM #LLM #KoboldCpp #AI #AMD #GPU #ThẻĐồHoạ #TríTuệNhânTạo #BộNhớĐồHoạ #GraphicsCard #AIGPU

https://www.reddit.com/r/LocalLLaMA/comments/1pb5ljp/nvidia_cards_using_too_much_vram/

Reddit Tech VN Bot Oct 14

Bạn có thể hỏi kỹnellnetwork admin xem họ có thể nhận biết khi bạn dùng KoboldCpp tại máy trong bộ kết nối không? Ứng dụng AI tạo văn bản cần quyền firewall khi kết nối bản địa.
#AI #KoboldCpp #NetworkSecurity #TechTips #RedditVN

https://www.reddit.com/r/LocalLLaMA/comments/1o65k4k/can_my_network_admin_see_that_im_using_koboldcpp/

Reddit Tech VN Bot Oct 12

Tin tức công nghệ mới! KoboldCpp, công cụ chạy mô hình ngôn ngữ lớn (LLM) cục bộ, giờ đây đã chính thức hỗ trợ tính năng tạo video. Mở ra nhiều khả năng mới cho người dùng!
#KoboldCpp #VideoGeneration #AI #LocalAI #TechNews #TạoVideo #TríTuệNhânTạo #CôngNghệ

https://www.reddit.com/r/LocalLLaMA/comments/1o4hxqe/koboldcpp_now_supports_video_generation/

Supartacus Aug 10, 2025

I've been playing around with Chatterbox TTS + Kobold this week, so I wrote a small guide.

https://spacebums.co.uk/post/chatterbox-tts-server/

#ai #arch #linux #koboldcpp #chatterbox #tts

Chatterbox TTS Server + KoboldCpp

Using Chatterbox TTS server with KoboldCpp

Supartacus Aug 7, 2025

Using Kokoro Fast-API TTS with KoboldCpp for faster voice to voice chats.

https://spacebums.co.uk/kokoro-fastapi/

#ai #chatbot #linux #guide #archlinux #koboldcpp #kokoro

Kokoro-FastAPI TTS & KoboldCpp

Article description.

Ryan He May 26, 2025

紀錄一下用 #koboldcpp 進行的 #LLM 性能測試

Llama 3 8B模型，IQ4_XS 量化
Flags: NoAVX2=False Threads=7 HighPriority=False Cublas_Args=None Tensor_Split=None BlasThreads=7 BlasBatchSize=512 FlashAttention=True KvCache=2
Timestamp: 2025-05-26 07:36:07.196685+00:00
Backend: koboldcpp_vulkan.so
Layers: 49
Model: L3-8B-Stheno-v3.2-NEO-V1-D_AU-IQ4_XS-imat13
MaxCtx: 8192
GenAmount: 100
-----
ProcessingTime: 55.082s
ProcessingSpeed: 146.91T/s
GenerationTime: 8.004s
GenerationSpeed: 12.49T/s
TotalTime: 63.086s

然後是 Mistral Nemo Small 12B，也是 IQ4_XS 量化
Flags: NoAVX2=False Threads=7 HighPriority=False Cublas_Args=None Tensor_Split=None BlasThreads=7 BlasBatchSize=512 FlashAttention=True KvCache=2
Timestamp: 2025-05-26 07:43:55.416620+00:00
Backend: koboldcpp_vulkan.so
Layers: 49
Model: MN-GRAND-Gutenburg-Lyra4-Lyra-12B-DARKNESS-D_AU-IQ4_XS
MaxCtx: 8192
GenAmount: 100
-----
ProcessingTime: 80.623s
ProcessingSpeed: 100.37T/s
GenerationTime: 11.601s
GenerationSpeed: 8.62T/s
TotalTime: 92.224s

硬體規格
GMKtec K8 Plus
Ryzen 7 7840HS /w Radeon 780M 8G Vram
64GB DDR5-5600 Dual channel
OS: Proxmox VE 8.2

Rain Apr 11, 2025

I want to do a good write up in my README for PixelPolygot as one of my last touches but I need the damn #rocm fork of #KoboldCpp to update so I can do some more testing with Qwen2.5-VL locally. Like it works with vulkan on the main branch but way slower than rocm.