Binary Representation + Hamming Distance 時的搜尋演算法

上個月看到「Hamming Distance for Hybrid Search in SQLite (via)」的時候引起的興趣,有些 embedding model 在訓練時有對 binary representation 調過的,即使把 fp32 或是 fp16 (或是 bf16) 的 embedding 降到 binary representation 後用 hamming distance 仍然有很好的...

Gea-Suan Lin's BLOG

Скормил нейросети 40 статей ПИК с Хабра: RAG-бот на GigaChat для BIM без опыта в разработке

Меня зовут Владислав Пономарев, я архитектор, проектирую дома. Ещё в магистратуре, 10 лет назад я занимался BIM-внедрением в проектной организации в Сочи. Это были Revit, Civil 3D и другие инструменты. Делал это в рамках своей темы магистерской работы. Потом переключился на архитектуру в частном домостроительстве, где больше изучал практические вопросы проектирования и философию архитектуры, ее эстетические качества. Но любовь к более сложному BIM осталась. С энтузиазмом продвигал тему BIM, когда до массового внедрения в РФ было еще далеко. Прошли годы. Многие вопросы, которые были актуальны тогда, еще остались в повестке отрасли. Специалисты до сих пор часто работают по старинке. А ведь теперь пришёл ещё и AI, который ложится только на автоматизированные процессы. Нет BIM – нет данных. Нет данных – нейронка не поможет. При этом автоматизировать стройку – задача очень сложная. Слишком много вопросов, которые пока трудно поддаются оптимизации.

https://habr.com/ru/articles/1004802/

#gigachat #bim #вайбкодинг #строительство #rag #faiss #langchain #streamlit #python

Скормил нейросети 40 статей ПИК с Хабра: RAG-бот на GigaChat для BIM без опыта в разработке

Предыстория: архитектура, BIM и попытки автоматизации Меня зовут Владислав Пономарев, я архитектор, проектирую дома. Ещё в магистратуре, 10 лет назад я занимался BIM-внедрением в проектной организации...

Хабр

Как гуманитарий за 2 месяца с нуля RAG систему построил, или Парсинг PDF по-хардкору

Добрый день. Сегодня я расскажу о том, как я за 2 месяца с полного нуля создал доменную RAG систему с корпусом в 20+ книг. В статье затрону проблемы парсинга данных (особенно PDF документов, с которыми приходилось иметь дело), чанкинга, создания и индексации эмбеддингов, а также самого интересного – ретривера. Расскажу о latency, трейд-оффах, и сложностях реализации подобных систем локально на ноутбуке (хоть и «игровом») без использования API LLM. Вся система делалась мной самостоятельно без использования LangChain – это чистый пайплайн от Tesseract, Pillow, MuPDF/Fitz до e5-multilingual, FAISS (+bm25, который я затрону в статье) и Qwen3:8B в качестве LLM.

https://habr.com/ru/articles/996144/

#RAG #машинное_обучение_нейросети_python #NLP #Построение_поисковых_систем #FAISS #BM25 #Tesseract #OCR #PDF #Embeddings

Как гуманитарий за 2 месяца с нуля RAG систему построил, или Парсинг PDF по-хардкору

Введение Добрый день. Сегодня я расскажу о том, как я за 2 месяца с полного нуля создал доменную RAG систему с корпусом в 20+ книг. В статье затрону проблемы парсинга данных (особенно PDF документов,...

Хабр
Like #RocksDB, #FAISS is not a full-fledged database server; rather, it is a high-performance library (specifically in C++ with Python bindings) designed for storing, indexing, and searching through vast amounts of data
#meta #ai

🔍 Đã có công cụ CLI mới mang tên **semantica** – tìm file “theo nghĩa” thay vì tên chính xác!
🖥️ Python, dùng FastEmbed để vector hoá và FAISS (sắp chuyển sang usearch) để so sánh độ tương đồng.
⚙️ Chạy hoàn toàn offline trên CPU, không cần API key, biên dịch thành binary độc lập cho Windows & Linux.
💡 Thích hợp cho ai hay quên tên file, muốn tìm tài liệu cũ chỉ bằng mô tả ngắn.

#opensource #cli #semanticsearch #Python #FAISS #Linux #Windows #CôngCụMởNguồn #tìmfile #AI #độnghĩa

http

Công cụ **semantica** – tìm file bằng ý nghĩa, không cần nhớ tên chính xác. Dùng Python, FastEmbed + FAISS, chạy 100 % offline trên CPU, không cần API key. Đã hỗ trợ Windows & Linux (binary tự động). Thử trên laptop cũ, index 250 phút, sau đó tìm “internet service agreement terms” ngay lập tức. #semantica #filesearch #AI #Python #FAISS #Linux #Windows #CôngCụ #TìmKiếm #MởNguồn

https://www.reddit.com/r/opensource/comments/1qmh58m/i_built_a_cli_tool_that_searches_files_by_their/

RAGについて勉強した結果をまとめてみた - Qiita

はじめに 昨今、さまざまな生成AIの技術が台頭してきて、筆者は日々キャッチアップに奮闘しています。 全然追いつけていませんが、、、 そこで今回は「RAG」について勉強した内容をまとめてみました。 生成AI初学者の方達の参考になれば幸いです。 RAG(検索拡張生成)とは?...

Qiita

Как мы сделали альтернативную систему метчинга товаров в X5 Digital: опыт, грабли и результат

Привет, Хабр! Меня всё ещё зовут Данила Федюкин, и я продолжаю быть тимлидом в X5 Digital. Руковожу командой, которая занимается метчингом. В прошлый раз я рассказывал, как мы перешли на собственную систему рекомендаций, а в этот раз о том, как делаем то же самое, но с метчингом товаров. X5 Digital – один из цифровых бизнесов Х5. Мы работаем в режиме Highload с RPS в 7500 и отвечаем за всю онлайн-доставку в более чем 1000 городах и населённых пунктах России. Этот канал постоянно растёт. В 2024 году покупатели Х5 совершили свыше 119,5 млн заказов продуктов на дом. Мы делаем собственную in-house WMS для дарксторов, приложения для сборщиков и курьеров, CRM, каталоги товаров и другие онлайн-продукты, а ещё мобильное приложение для торговых сетей. Всё это, отталкиваясь от разных форматов доставки. В «Перекрёстке» среднее время доставки CTD (Click-to-Delivery — от оформления заказа до его получения клиентом) сократилось до 45 минут, в «Чижике» — до 37 минут, а в «Пятёрочке» порядка 40% заказов доставляются клиентам менее чем за 20 минут.

https://habr.com/ru/companies/X5Tech/articles/977626/

#машинное_обучение #nlp_обработка_текста #матчинг_товаров #рекомендации #векторный_поиск #faiss #hnsw #e5 #bert #onnx

Как мы сделали альтернативную систему метчинга товаров в X5 Digital: опыт, грабли и результат

Привет, Хабр! Меня всё ещё зовут Данила Федюкин, и я продолжаю быть тимлидом в X5 Digital. Руковожу командой, которая занимается метчингом. В прошлый раз я рассказывал , как мы перешли на собственную...

Хабр

Как превратить сценарного чат-бота в умного бота на основе ИИ

Привет, Хабр! На связи Иван Жирнов и Степан Рыбалов, тимлид и QA группы разработки чат-ботов в компании «Передовые Платежные Решения». В работе мы используем чат-боты собственной разработки. До AI-революции чат-боты были сценарные и весьма ограниченные. С нейросетями же их возможности стали головокружительно шире. В этой статье мы расскажем о том, как и зачем перешли на чат-ботов с ИИ, чтобы наш опыт мог помочь в проекте и вам. Ежемесячно клиенты генерируют более 73 тысяч диалогов в текстовых ботах, и более 92% этих диалогов обрабатывается без участия человека — в чатах, мобильном приложении и личном кабинете. Голосовой чат-бот на горячей линии получает в месяц более 15 тысяч звонков, и здесь автоматизация достигает 20–30%. Именно голосовой бот навел нас на мысли об ИИ: здесь вопросы обычно оказывались сложнее и индивидуальнее. Обсуждать переход мы начали в четвертом квартале 2024 года. Нас привлекла возможность LLM решать комплексные вопросы из одного запроса клиента. Сценарный бот же реагирует только на одну команду за раз, выдает целый список возможных связанных вопросов, из которых пользователю снова приходится выбирать. Потом, вероятно, выбирать еще и еще… так что терпения хватает не у всех. Тогда клиент в лучшем случае обращается к голосовому боту или попадает к оператору поддержки. GPT же может сможет понять контекст, разбить сложный вопрос на несколько простых и собрать полноценный ответ.

https://habr.com/ru/articles/976782/

#чатбот #llm #техподдержка #faiss #мультиагентная_архитектура

Как превратить сценарного чат-бота в умного бота на основе ИИ

Привет, Хабр! На связи Иван Жирнов и Степан Рыбалов, тимлид и QA группы разработки чат-ботов в компании «Передовые Платежные Решения». В работе мы используем ботов собственной разработки. До...

Хабр

Một dự án nén vector mới đạt tỷ lệ nén cao hơn FAISS với độ chính xác tương đương đã công khai repo GitHub! Ứng dụng cho lưu trữ lạnh, RAG, và search. Hiện đang tìm góp ý kỹ thuật để kiểm chứng hiệu quả và độ ổn định trên hệ thống thực tế. Hashtag: #AI #VectorCompression #FAISS #MachineLearning #PhiEngine #NénVector #HỌCMÁY

https://www.reddit.com/r/LocalLLaMA/comments/1pnzex8/feedback_wanted_vector_compression_engine/