Mastodawn

Avi Chawla (@_avichawla)

RAG의 메모리 사용량을 32배 줄이는 간단한 기술을 소개한 트윗이다. 이 방식이 Perplexity의 검색 인덱스, Azure의 검색 파이프라인, HubSpot의 AI 비서에 이미 활용되고 있으며, 코드와 함께 동작 원리를 설명한다고 언급한다.

https://x.com/_avichawla/status/2040510183621927041

#rag #search #memoryefficiency #azure #perplexity

Avi Chawla (@_avichawla) on X

A simple technique makes RAG 32x memory efficient! - Perplexity uses it in its search index - Azure uses it in its search pipeline - HubSpot uses it in its AI assistant (learn how it works below, with code)

X (formerly Twitter)