BTW, these are the #AI #LLM models I settled on using with #JanAI:

#Qwen2.5 at 0.5B (Qwen2_5-0_5B-Instruct-uncensored_Q8_0), for fastest performance on low-end hardware

#Qwen2 at 1.5B (Qwen2-1_5B-Instruct-Abliterated-Q5_K_M), for balanced performance and good enough output quality

#Llama3.2 at 3B (Llama-3_2-3B-Instruct-heretic-ablitered-uncensored_Q5_K_M), for higher quality output

#Llama3 actually doesn’t run too poorly on my machine, although it can take some time to load up responses sometimes.

Having fun with #AI so far.

#JanAI #Qwen #Qwen2 #LLM #FOSS

Người dùng Reddit báo cáo Jan.ai không nhận diện GPU AMD RX 9070 XT. Họ đã thử, kèm ảnh chụp màn hình cho thấy GPU không được phát hiện và hỏi cách khắc phục. Cần hỗ trợ cấu hình hoặc giải pháp tương thích. #JanAI #AMD #GPU #AI #Tech #CôngNghệ #LocalLLaMA #AI #GPU 🚀

https://www.reddit.com/r/LocalLLaMA/comments/1qk27xm/janai_и_rx_9070xt/

Jan cập nhật v0.7.5 với tiện ích trình duyệt Jan Browser MCP, hỗ trợ đính kèm tệp tin và Flatpak dành cho Linux! Người dùng Chrome có thể cài tiện ích từ Chrome Web Store để tăng tính ổn định khi lướt web. Đồng thời, Linux users cuối cùng được hỗ trợ Flatpak. [Kèm video hướng dẫn chi tiết]. Những cải tiến này giúp trải nghiệm chat và tương tác trở nên thuận tiện hơn. Tìm hiểu thêm tại Flathub hoặc GitHub.

#LocalLLaMA #Jan #AI #PhầnMềmMới #Linux #CôngNghệ
#JanAI #BrowserExtension #FileSuppor

Cập nhật thủ công llama.cpp đến phiên bản mới nhất qua Jan.ai! 🚀 #llamaCPP #JanAI #CôngTec #CậpNhệSin → Bruxelles: #llamaCPP #JanAI #AI #Update

https://www.reddit.com/r/LocalLLaMA/comments/1o85j8t/manually_update_to_the_latest_version_of_llamacpp/

Just updated #janai, and oh my it's improved a lot. With the Jan nano model, the token speed is at 47 tokens/sec on my mac. Pretty impressive.

https://jan.ai/

#localllm #localai

I tried #JanAI (an app that lets you run #LLM models on local computers so you can have a private #AI assistant).

Was thinking it could be interesting to experiment with this for prose text summaries/analysis.

However, Jan's document parsing is "experimental". Can't attach plain text files (why). Could drag in PDFs. Fine, whatever. "Can you do chapter by chapter summaries of this manuscript of mine" basically did some really weird #aihallucinations based on things that may have been referenced in the text. The overall plot summary was interesting, too bad it was had little to no resemblance to the novel I wrote.

I couldn't resist seeing if, since this is a locally running AI, it could talk about naughty sexy things. "Can't generate anything explicit", the default Llama said. Fine, whatever. Downloaded some "NSFW" model. It generated janky garbage and said "f*ck" a lot, and I do mean literally "f*ck", which messed up the Markdown formatting completely.

This technology is improving but still has a way to go