Алгоритмы векторного поиска: IVF и HNSW

В данной статье я хочу пройтись по двум самым популярным алгоритмам векторного поиска, используемым на практике. Попробуем понять, почему точный поиск не работает в высоких размерностях и почему мы в итоге приходим к приближенному поиску. Заодно мы затронем тему метрик, чтобы понять, как вообще сравнивают эмбеддинги. Рассмотрим вспомогательный и очень простой алгоритм k-means из классического ML’а, лежащий в основе IVF. И наконец, подробно разберем два самых главных алгоритма IVF и HNSW с примерами их реализации на Python’е.

https://habr.com/ru/articles/1046654/

#vector_db #ml #ivf #hnsw #python

RAG의 종말? 롱 컨텍스트와 Grep 기반 검색의 부상

LLM의 컨텍스트 창이 100만 토큰 이상으로 확장됨에 따라, 복잡한 벡터 데이터베이스(Vector DB) 기반의 RAG 아키텍처가 필수적이지 않은 시대가 되었다.

🔗 원문 보기

Как затащить AI в Java/Kotlin проект

Мир Enterprise-разработки на Java/Kotlin и мир нейронных сетей кажутся параллельными вселенными. С одной стороны - статическая типизация, многопоточность, Spring-контейнеры, а с другой - Python-скрипты, тензорные операции и эксперименты в Jupyter Notebook. Между ними - пропасть, через которую многие команды не решаются перешагнуть. Однако необходимость строить этот мост возникает всё чаще. Заказчик хочет «искусственный интеллект» в новом фиче, аналитики мечтают о реализации чат-бота с преферансом и барышнями, а менеджеры слышали, что конкуренты уже всё автоматизировали. Как же совместить надежность и структуру JVM-проекта с гибкостью и мощью AI? В этой статье постараемся разобраться какие инструменты для этого есть на данный момент и как с ними работать.

https://habr.com/ru/articles/984544/

#AI #ИИ #Java #Kotlin #LLM #State_Graph #Vector_DB #Docling #Embeddings