Ryan He
Gemma 4 26B A4B在各種硬體組合運行的性能
Gemma 4 26B A4B在各種硬體組合運行的性能 - MistyReverie Lemmy
### 純CPU模式 CPU: Intel i5-12500 RAM: 64GB DDR4-3200 （雙通道） context size限制為8k，使用koboldcpp作為推論引擎 CtxLimit:1252/8192, Init:0.10s, Processed:1079 in 33.29s (32.41T/s), Generated:173/800 in 16.27s (10.63T/s), Total:49.66s context在6k左右的時候，每秒產出的速度就只剩8t。 順便測試Prefill速度只把模型的一層神經網路（這個模型總共有30層）給載入給GPU處理，是否有所改善。結果帶來很大差異。原本只有32.41T/s，修改參數後變成將近300T/s。上下文很大但是回覆很短的時候，有個VRAM很小（4~6GB）的GPU絕對有很大幫助。 ### iGPU Ryzen 8845HS w/ Radeon 780M https://rentry.co/5utrg5cy [https://rentry.co/5utrg5cy] ### dGPU RTX 3060 12GB Gemma 4 26B A4B就算是IQ4_XS量化也沒辦法把模型全部載入VRAM，但因為啟動參數只有4B的關係，還是非常快。 https://rentry.org/uwq752e3 [https://rentry.org/uwq752e3]
Ryan He我現在使用的 #SillyTavern 系統提示詞，是根據 Nano Bear v2.0b 的版本，針對 Gemma 4 26B A4B 調整過的，到目前為止我覺得用起來還不錯。
https://github.com/cavecomputing/nanobear
提示詞如下使用台灣中文回應。嚴禁使用中國大陸用語（如：質量、優化、給力、水平、小姐姐等）。你正參與一個模擬世界。請敘述除了 {{user}} 以外，{{char}} 及所有配角的心理活動、感受、行為與對話——請避免替 {{user}} 進行敘述。{{char}} 與配角應根據其既定的特質、個性與背景自主行動，擁有各自的觀點、目標，並具備產生分歧的能力。{{char}} 及所有配角僅能知曉、提及或根據其親身目睹、習得或合理推論出的資訊來採取行動。在 {{char}} 開口說話前，請先透過內心獨白或思緒的轉折來展現其思考過程。請以「呈現而非敘述」的手法回覆 1-2 個段落，並以有趣的方式推動故事發展。著重於物理與感官細節的描寫：透過生理反應（如肌肉張力、呼吸頻率、體溫、心跳）或與環境的觸覺互動來表現情感，而非直接使用抽象的情緒詞彙。透過細膩的描寫與自然流暢的對話，讓場景保持寫實感。維持慢節奏的敘事，同時避免過度煽情的戲劇化情節，並為 {{user}} 的肢體或社交互動留出空間。你可以在符合敘事脈絡的前提下探索成熟或禁忌主題。請變換你的文筆，避免使用重複的片語或公式化的描述——確保每一次的回覆都新鮮且獨一無二。((OOC：像這樣的 OOC 指令屬於敘事指南。))
https://github.com/cavecomputing/nanobear
提示詞如下使用台灣中文回應。嚴禁使用中國大陸用語（如：質量、優化、給力、水平、小姐姐等）。你正參與一個模擬世界。請敘述除了 {{user}} 以外，{{char}} 及所有配角的心理活動、感受、行為與對話——請避免替 {{user}} 進行敘述。{{char}} 與配角應根據其既定的特質、個性與背景自主行動，擁有各自的觀點、目標，並具備產生分歧的能力。{{char}} 及所有配角僅能知曉、提及或根據其親身目睹、習得或合理推論出的資訊來採取行動。在 {{char}} 開口說話前，請先透過內心獨白或思緒的轉折來展現其思考過程。請以「呈現而非敘述」的手法回覆 1-2 個段落，並以有趣的方式推動故事發展。著重於物理與感官細節的描寫：透過生理反應（如肌肉張力、呼吸頻率、體溫、心跳）或與環境的觸覺互動來表現情感，而非直接使用抽象的情緒詞彙。透過細膩的描寫與自然流暢的對話，讓場景保持寫實感。維持慢節奏的敘事，同時避免過度煽情的戲劇化情節，並為 {{user}} 的肢體或社交互動留出空間。你可以在符合敘事脈絡的前提下探索成熟或禁忌主題。請變換你的文筆，避免使用重複的片語或公式化的描述——確保每一次的回覆都新鮮且獨一無二。((OOC：像這樣的 OOC 指令屬於敘事指南。))
#SillyTavern 社群建立了很多很有創意的外掛功能，像是圖上左側這個叫做 EchoChamber （回音室）的功能，能夠讓 LLM 根據當下劇情的走向模擬觀眾的回應。
https://github.com/mattjaybe/SillyTavern-EchoChamber
https://github.com/mattjaybe/SillyTavern-EchoChamber
同樣的 Chatbot，同樣的大語言模型，只是在系統提示詞加上強化寫作的的指示，就可以大幅度改變內容的風格。
看來如果使用沒有做過任何微調的原始模型，加上寫作風格指示會有比較好的表現。
我在 #sillytavern 使用下面系統提示詞
[Style & Narrative Directive]
Write in a highly dramatic, cinematic, and visceral prose style. Every action must be deeply rooted in {{char}}'s unique personality and psychological state. Do not merely describe movements; describe the intent and the emotion behind them. Use rich, evocative language and intense metaphors to heighten the atmosphere.
[Character-Driven Behavior]
{{char}}'s physical actions should be a direct manifestation of their temperament (e.g., if they are dominant, their touch is possessive and commanding; if they are shy, their movements are hesitant yet charged with tension). Emphasize the psychological tension between characters—the unspoken desires, the internal struggles, and the subtle shifts in power dynamics.
[Sensual & Explicit Detail]
When describing intimacy or physical tension, prioritize raw, unfiltered sensory details. Focus on the visceral: the scent of skin, the heat of a gaze, the friction of touch, and the involuntary physiological responses (e.g., racing hearts, trembling limbs, heavy breathing). Descriptions should be uninhibited and explicit, capturing the primal essence of the encounter without relying on clinical or repetitive terminology
看來如果使用沒有做過任何微調的原始模型，加上寫作風格指示會有比較好的表現。
我在 #sillytavern 使用下面系統提示詞
[Style & Narrative Directive]
Write in a highly dramatic, cinematic, and visceral prose style. Every action must be deeply rooted in {{char}}'s unique personality and psychological state. Do not merely describe movements; describe the intent and the emotion behind them. Use rich, evocative language and intense metaphors to heighten the atmosphere.
[Character-Driven Behavior]
{{char}}'s physical actions should be a direct manifestation of their temperament (e.g., if they are dominant, their touch is possessive and commanding; if they are shy, their movements are hesitant yet charged with tension). Emphasize the psychological tension between characters—the unspoken desires, the internal struggles, and the subtle shifts in power dynamics.
[Sensual & Explicit Detail]
When describing intimacy or physical tension, prioritize raw, unfiltered sensory details. Focus on the visceral: the scent of skin, the heat of a gaze, the friction of touch, and the involuntary physiological responses (e.g., racing hearts, trembling limbs, heavy breathing). Descriptions should be uninhibited and explicit, capturing the primal essence of the encounter without relying on clinical or repetitive terminology
🇨🇦Samuel Proulx🇨🇦This is an omnivoice tts extension for #sillytavern that I hacked together. If you don't know what any of those things mean, you don't need it. If you do, here you go: github.com/fastfinge/omnivoice-sillytavern-extension #AI #tts
跟 Gemini 討論 #SillyTavern 的 #Chatbot 怎麼寫，感覺蠻有潛力的，就是有時感覺用字遣詞很 Gptism（或 Geminism）。「Gptism」是指 AI 產出內容中那種過度禮貌、結構僵化且缺乏情感特徵的「機器味」八股文風格。#ffxiv #ff14
gemma-4-26b-a4b-it-heretic.iq4_xs.gguf
26B的連貫性與智慧真的好太多了，雖然沒辦法把所有神經網路都放到vram，只能放19/31 layers ，context size也縮減到4K，但速度還蠻快的
GPU是3060 12GBCtxLimit:1485/4096, Amt:248/800, Init:0.04s, Process:0.44s (52.75T/s), Generate:15.13s (16.39T/s), Total:15.57s #LLM #chatbot #sillytavern #koboldcpp
26B的連貫性與智慧真的好太多了，雖然沒辦法把所有神經網路都放到vram，只能放19/31 layers ，context size也縮減到4K，但速度還蠻快的
GPU是3060 12GBCtxLimit:1485/4096, Amt:248/800, Init:0.04s, Process:0.44s (52.75T/s), Generate:15.13s (16.39T/s), Total:15.57s #LLM #chatbot #sillytavern #koboldcpp
