Một người dùng đang tối ưu hóa hệ thống RAG cục bộ bằng cách chia tải giữa GPU 5090 (LLM) và 5070Ti (embedding), chuyển sang kiến trúc song song với vLLM hoặc llama.cpp để tăng tốc độ xử lý. Họ cũng cân nhắc nâng cấp lên Qwen 30B và thảo luận về việc dùng Docker để quản lý mô hình. Câu hỏi trọng tâm: phân bổ GPU có hợp lý? vLLM hay llama.cpp tốt hơn? Nên dùng mô hình coder thay vì instruct? #AILLM #GPUTips #RAG #LightRAG #Optimization #CôngNghệAI #ThếHệGPU

https://www.reddit.com/r/LocalLLaMA/co

Использование графов знаний при разработке RAG-систем

Привет, Habr! На связи Александр Сулейкин, Роман Бабенко и Даниил Бутнев. Подготовили совместную статью по теме использования графов знаний при разработке RAG-систем. В рамках статьи рассказываем про основные проблемы традиционных RAG-систем, даем обзор основных открытых проектов графов знаний GraphRAG, показываем и даем краткое описание архитектуры таких систем, а также рассказываем про практическое использование графов знаний на примере трех областей - медицины, метрологии и стандартизации.

https://habr.com/ru/articles/908890/

#graphrag #LightRAG #RAG #ai #llm

#開源分享 中國北郵和港大開源了一個新的基於圖的RAG系統：LightRAG，進階版GraphRAG
解決了上下文感知能力不足的問題，在響應效率、成本和對新資訊的適應性上比GraphRAG有升

特點：
1、引入了圖結構到文本索引和檢索過程中
2、雙層檢索框架，低級和高級檢索，可適應不同類型查詢
3、將圖結構與向量表示結合，提高實體和關係的檢索效率
4、具備增量更新能力，可以及時整合新數據，確保系統在動態環境中保持有效性和響應性

專案地址： github.com/HKUDS/LightRAG

#RAG #GraphRAG #LightRAG