Свой оффлайн-ассистент на Phi-3-mini: Разворачиваем локальную модель нейросети для анализа данных с открытым кодом

Тренд на использование больших языковых моделей (LLM) не ослабевает, но облачные решения вроде ChatGPT или Gemini имеют ряд ограничений: зависимость от интернета, платные подписки и, что самое важное, конфиденциальность данных. Особенно остро последний вопрос стоит при работе с корпоративной или чувствительной информацией, которую нельзя загружать в чужие сервисы. В этой статье я хочу поделиться опытом создания полностью локального AI-ассистента на основе Microsoft Phi-3-mini — компактной, но мощной модели, способной анализировать данные из CSV, JSON и TXT файлов. Весь проект представляет собой набор Python-скриптов с открытым исходным кодом, которые автоматизируют установку и предоставляют интуитивно понятный чат-интерфейс. Почему Phi-3-mini? Microsoft позиционирует семейство моделей Phi-3 как "достаточно маленькие" (Small Language Models), но при этом "достаточно умные". Phi-3-mini, обладая 3.8 миллиардами параметров, демонстрирует производительность, сопоставимую с моделями вроде Mixtral 8x7B и GPT-3.5, но в значительно меньшем размере. Это делает её идеальным кандидатом для локального запуска на потребительском железе. Компактность: ~7-8 ГБ против десятков и сотен ГБ у более крупных моделей. Эффективность: Оптимизирована для работы на GPU с ограниченными ресурсами. Качество: Поддерживает контекст до 4K токенов и отлично справляется с логическими и аналитическими задачами, включая код.

https://habr.com/ru/articles/957204/

#нейросеть_локально #phi3

작지만 강한 AI의 역습: 소형 언어 모델이 에이전트 AI의 게임체인저가 되는 이유

https://aisparkup.com/posts/4792

💡 Mu, un motore AI per gestire le impostazioni di Windows 11

https://gomoot.com/mu-un-motore-ai-per-gestire-le-impostazioni-di-windows-11

#ai #blog #ia #impostazioni #insider #llm #mu #news #phi3 #phi4 #picks #privacy #qualcomm #snapdragon #tech #tecnologia #windows @microsoftitalia @windows

🚀 Build a real RAG API with .NET 8, Semantic Kernel, Phi-3, and Qdrant!

🎯 Enrich LLMs with real product data
⚙️ Local ONNX inference with Phi-3
🔥 Full API endpoints ready!

Dive into the architecture 👉 https://elguerre.com/2025/04/22/%f0%9f%9a%80-building-a-rag-api-with-net-semantic-kernel-phi-3-and-qdrant-enrich-your-e-commerce-experience/

#DotNet #SemanticKernel #RAG #Qdrant #Phi3 #AI #MachineLearning #ONNX

[thread] Small language models
see also: https://en.wikipedia.org/wiki/Large_language_model
https://www.ibm.com/think/topics/small-language-models

* machine learning models
* processing, understanding, generating natural language content
* SLM more compact/efficient than LLM: large language models
* few million to few billion parameters vs LLM: 100B's - trillions
* parameters: internal variables that a model learns during training
* influence how model behaves/performs

#LLM #SLM #SmallLanguageModels #LanguageModels #NLP #ML #AI
#Microsoft #Phi3 #Phi4

Ollama Model Review: Microsoft’s Phi3
#Ollama review: Microsoft’s #Phi3 #LLM is wordy & inaccurate – fast though, super fast…at being incorrect. …

https://mindcreatesmeaning.com/ollama-model-review-microsofts-phi3/
--
#Ai #LLM #LocalAi #Ollama #opensource #Phi3

Ollama Model Review: Microsoft’s Phi3

#Ollama review: Microsoft’s #Phi3 #LLM is wordy & inaccurate – fast though, super fast…at being incorrect.

https://mindcreatesmeaning.com/ollama-model-review-microsofts-phi3/

#Ai #LLM #LocalAi #Ollama #opensource #Phi3