How to Build Vector Search from Scratch in Python
이 글은 Python과 NumPy만 사용해 벡터 검색 엔진을 처음부터 구현하는 방법을 상세히 설명한다. 텍스트를 고차원 임베딩 벡터로 변환해 코사인 유사도로 의미적 근접성을 측정하는 벡터 검색의 기본 원리를 다루며, 간단한 상품 설명 데이터셋을 활용해 임베딩 생성, 정규화, 인덱싱, 검색 쿼리 처리 과정을 단계별로 보여준다. 또한 PCA를 이용해 임베딩 공간을 2차원으로 시각화해 클러스터 구조와 쿼리 벡터의 위치를 직관적으로 이해할 수 있도록 한다. 벡터 검색의 핵심 개념과 구현 원리를 이해하고자 하는 AI 개발자에게 실용적인 입문 자료다.
https://www.kdnuggets.com/how-to-build-vector-search-from-scratch-in-python
Show HN: Obsidian-Semantic, a CLI that lets agents search your vault by meaning
Obsidian-Semantic은 CLI 기반 도구로, AI 에이전트가 Obsidian 노트 저장소를 의미 기반으로 검색할 수 있게 해줍니다. 이를 통해 에이전트가 단순 텍스트 검색을 넘어 노트 간의 연관성을 찾아내고, 점차 위키처럼 지식을 확장할 수 있습니다. Ollama, LMStudio의 로컬 임베딩 모델과 Gemini API 클라우드 모델을 지원해 모델 선택과 제어가 가능합니다. AI 에이전트와 개인 지식 관리 통합에 유용한 도구입니다.
S Banerjee (@SB434223)
RAG에서 임베딩 품질만으로는 충분하지 않으며, 데이터가 커질수록 검색 공간이 조밀해져 ‘거의 관련 있는’ 문서가 늘고 recall이 떨어진다는 점을 강조한다. 따라서 대규모 RAG에서는 reranking 같은 후처리와 검색 설계가 중요하다는 기술적 인사이트를 제시한다.
@akshay_pachaar this is such an important point people miss with RAG embedding quality alone isn’t enough , retrieval becomes a density problem at scale as collection grow, semantic neighborhoods become crowded with “almost relevant” docs, and recall collapses which is why: - reranking
My Claude dreams at night and remembers everything. Better than mempalace
iai-mcp는 Claude 및 MCP 호환 AI 어시스턴트를 위한 로컬 장기 기억 메모리 시스템으로, 모든 대화 내용을 정확히 기록하고 관련 정보를 자동으로 회상해 대화 시작 시 적절히 주입한다. 완전 로컬에서 임베딩을 계산하며, AES-256-GCM으로 암호화된 메모리를 관리해 개인정보 보호를 강화한다. 자동 캡처, 자동 회상, 그리고 백그라운드 통합 과정을 통해 시간이 지날수록 사용자 맞춤형 기억 능력이 향상된다. Python 데몬과 TypeScript 래퍼로 구성되어 macOS와 Linux에서 동작하며, 설치 및 상태 점검 도구를 제공한다.
Show HW: Vectors.Space – An free service for embeddings
Vectors.Space는 OpenAI, Gemini, Voyage, 로컬 Llama 등 여러 임베딩 제공자를 단일 API로 통합해 개발자가 임베딩 파이프라인 관리에 신경 쓰지 않고 제품 개발에 집중할 수 있도록 지원하는 무료 서비스입니다. 내장된 캐싱과 사용량 추적, 토큰 오버플로우 처리 기능으로 비용과 지연을 줄이며, 대시보드를 통해 사용 현황과 성능을 한눈에 파악할 수 있습니다. 벡터 임베딩 모델 간 즉각적인 전환과 키 관리, 상세 로그 제공 등 AI 인프라 운영에 필요한 안정성과 편의성을 제공합니다.
Tengo publicado en YouTube un tutorial de instalación de Neo4J en Docker.
Neo4J es bastante popular en el ámbito de la Inteligencia Artificial.
#AI #Embedding #SiguemeYTeSigo #followback
Nota: imagen generada con IA.
pretty cool high dimensional visualizer
Tengo publicado en YouTube un tutorial de instalación de PGVector en Docker.
PGVector es bastante popular en el ámbito de la Inteligencia Artificial.
#AI #Embedding #SiguemeYTeSigo #followback
Nota: imagen generada con IA.
Tengo publicado en YouTube un tutorial de instalación de PGVector en Windows. Esta herramienta es bastante popular en el ámbito de la Inteligencia Artificial.
#AI #Embedding #SiguemeYTeSigo #followback
Nota: imagen generada con IA.
Tengo publicado en YouTube un tutorial de instalación de Neo4J en Docker.
Neo4J es bastante popular en el ámbito de la Inteligencia Artificial.
#AI #Embedding #SiguemeYTeSigo #followback
Nota: imagen generada con IA.
sayzard
El laboratorio de Rafa
jnpn