Справочник по стандартам ЕСКД при помощи RAG на PrivateGPT

Я работал одно время в сфере машиностроения. В авиации, если точнее. И когда надо было соблюсти формальности или пройти нормоконтроль, приходилось разбираться в нормативной документации. И приходилось, собственно говоря, нечасто, поэтому все это "добро" регулярно забывалось. Теперь, поскольку есть множество простейших способов создать RAG, я решил узнать, будет ли выдавать приемлемые результаты такая реализация. Сделал черновой вариант справочника - в нем лишь пара стандартов из тех, которые бы мне хотелось иметь в справочнике. Создание RAG по нескольким стандартам займет большее время на доработку данных. В целом, неплохо работает. Истории сообщений и переключения истории чатов с RAG ассистентом в UI PrivateGPT нет. Интерфейс довольно простой. Вот он:

https://habr.com/ru/articles/899384/

#privategpt #rag #ескд

https://itsfoss.com/local-ai-docs-tools/

5 Locally run AI/LLM tools for working with PDF's

- Chatd
- localGPT
- PrivateGPT
- GPT4All
- LM Studio

The article discusses each tool in detail, some performing various tasks better than others, and some which have very specific usages.

As these all run locally, you have a greater guarantee of Privacy & control over the models, as well as less environmental impact.

#AI #LLM #PDF #ChatD #LocalGPT #PrivateGPT #GPT4ALL #LMStudio

Well, I finally did some blogging / wrote an article outside of work again....

Interested in my experiences with running local #LLMs and integrating them into routine workflows?

"No Cloud In Sight: Augmented Intelligence for Privacy-Centric Workflows"

https://medium.com/@mreinwarth/no-cloud-in-sight-augmented-intelligence-for-privacy-centric-workflows-6930d67ba52d

#localLLMs #efficiency #augmentedIntelligence #ollama #fabric #privateGPT

Mamy tu jakichś pasjonatów lokalnie hostowanych LLM? Jakie modele polecacie do programowania, a jakie do pozostałych czynności? Aktualnie korzystam z Llama 3.7B do obu tych rzeczy i zastanawiam się czy znajdzie się coś lepszego, co uruchomie na CPU z 16 GB DDR4 :p

#LLM #privateGPT

Запускаем PrivateGPT на GPU AMD Radeon в Docker

PrivateGPT — это проект, который расширяет возможности работы LLM-моделей, позволяя добавлять неограниченное количество личных данных. 31 октября 2023 AMD Radeon предоставила поддержку PyTorch для любительских видеокарт. Полный список видеокарт и ОС можно посмотреть здесь . Описанная инструкция протестирована на AMD Radeon RX 7900 XTX. Для запуска нам понадобится Ubuntu с установленными: git, make, docker и ROCm.

https://habr.com/ru/articles/807469/

#privategpt #radeon #ai #ии #машинное+обучение #amd #rx_7900_xtx #docker #rocm

[Перевод] Запускаем privateGPT локально на WSL c поддержкой GPU Nvidia

Приватный GPT - это готовый к производству проект искусственного интеллекта, который позволяет задавать вопросы о ваших документах, используя мощь больших языковых моделей (LLM), даже в сценариях без подключения к Интернету. 100% приватный, никакие данные не покидают ваше окружение выполнения в любой момент. Запуск на Windows Subsystem для Linux (WSL) с поддержкой GPU может значительно улучшить его производительность. В этом руководстве я проведу вас пошаговый процесс установки PrivateGPT на WSL с использованием ускорения GPU.

https://habr.com/ru/articles/800697/

#privateGPT #nvidia #AI #ИИ #ии_и_машинное_обучение

Setting Up #PrivateGPT to Use #Ai Chat With Your Documents

https://itsfoss.com/privategpt-setup/

https://itsfoss.com/privategpt-setup/

PrivateGPT is a free and open-source AI. In this article, you can learn how to set up a local copy, and use it to help you read, & understand documents without sending a ton of info back to some company.

#AI #LLM #PrivateGPT #Technology #Software #Linux