🧠 New preprint by Zhong et al. proposes a #synaptic mechanism for #chunking in #WorkingMemory.

Using short-term #plasticity and synaptic augmentation, their model shows how items can be temporarily suppressed and later retrieved as chunks, increasing effective capacity w/o increasing simultaneous activity.

🌍 https://doi.org/10.7554/eLife.109538.1

#Neuroscience #CompNeuro #SynapticPlasticity

So, you want to chunk really fast?

https://minha.sh/posts/so,-you-want-to-chunk-really-fast

#HackerNews #chunking #fast #performance #optimization #coding #techniques

Архитектура высоконагруженных RAG-систем: 10 стратегий оптимизации чанкинга и интеграция с Weaviate, Qwen / Llama /Gemma

Привет, Хабр! Это Андрей Носов, AI-архитектор в компании Raft, проектирую и внедряю высоконагруженные RAG-системы на предприятиях. Сегодня я расскажу о вызовах, которые мы преодолеваем каждый день, создавая такие системы, и сделаю акцент на чанкинге. Обозначим направления, в которых мы будем работать. Сегодня поговорим только о двух возможностях применения больших языковых моделей — это MedTech и LegalTech. Они наиболее востребованные на рынке в текущий момент в плане систем поиска. Такой выбор направлений связан с глобальным трендом на работу с профессиональными знаниями, о котором говорят Gartner и OpenAI.

https://habr.com/ru/companies/oleg-bunin/articles/967102/

#rag #chunking #llm #genai #архитектура #чанкинг #highload #highload++

Mô hình ngữ cảnh dài có thực sự giải quyết 'attention dilution'? Có người cho rằng Gemini 1M context loại bỏ RAG/chia nhỏ tài liệu. Tuy nhiên, tác giả bài viết nghi ngờ, kinh nghiệm cho thấy hiệu suất giảm mạnh sau 100K-200K token. Điều này rất quan trọng với tài liệu pháp lý cần độ chính xác cao.

#AI #LLM #LongContext #AttentionDilution #RAG #Chunking #Gemini #TechNews #ArtificialIntelligence
#MôHìnhAI #NgữCảnhDài #XửLýNgônNgữ #CôngNghệ #TríTuệNhânTạo #HỏiĐáp

https://www.reddit.com/r/LocalLLa

Công cụ rag-chunk giúp kiểm tra chiến lược chunking cho tài liệu. Cho phép phân tích, kiểm tra và đánh giá các chiến lược khác nhau. Calculates Recall score để đánh giá hiệu quả. #RAG #chunking #CLI #Python #ragchunk #tiểu 샤 #côngcụ #phần_mềm

https://www.reddit.com/r/programming/comments/1oxfu03/i_was_tired_of_guessing_my_rag_chunking_strategy/

Bạn đang tối ưu RAG? Đừng bỏ qua cách chia đoạn văn bản (chunking)! Thay vì chia theo ký tự thô, việc chia theo ngữ nghĩa (semantic chunking), duy trì ngữ cảnh với các đoạn 500-1000 token có chồng lấn nhỏ, mang lại hiệu quả vượt trội hơn cả việc đổi model hay embedding. Hãy chia theo ý nghĩa, không phải số lượng!

#RAG #AI #NLP #TextSplitting #Chunking #TốiƯuAI

https://www.reddit.com/r/LocalLLaMA/comments/1ojwsfi/the_single_most_overlooked_decision_in_rag_stop/

Chonky – a neural text semantic chunking goes multilingual

https://huggingface.co/mirth/chonky_mmbert_small_multilingual_1

#HackerNews #Chonky #Neural #Text #Multilingual #Chunking #AI

Bạn có thử Reducto để phân tích tài liệu Mél? Họ kết hợp mô hìnhCV-ngôn ngữ và chunking thông minh dựa trên embedding, gây ra chunk phù hợp với LLM bằng cách giữ nguyên cấu trúc (bảng, hình). Cách này có hiệu quả trong công thức thực tế? TAG: #Reducto #Chunking #LLM #RAG

https://www.reddit.com/r/LocalLLaMA/comments/1ofo8zs/anyone_used_reducto_for_parsing_how_good_is_their/

Chonkie: революция в RAG-чанкинге — скорость, лёгкость, удобство

В эпоху, когда большие языковые модели (LLM) становятся всё более мощными и применяются во многих задачах, одна из ключевых проблем остаётся прежней — как эффективно снабжать их релевантным контекстом. Одним из популярных решений является подход RAG, где качество итогового ответа зависит от целого ряда факторов, одним из которых является качественное чанкирование исходных текстов. Сегодня мы рассмотрим одно из новых и интересных решений. Всем привет! Меня зовут Вадим, я Data Scientist в компании Raft. В этой статье я расскажу о Chonkie — библиотеке для простого и быстрого чанкирования документов, а также на практике применю её и сравню с другими популярными решениями: LangChain и LlamaIndex .

https://habr.com/ru/companies/raft/articles/954158/

#rag #chunking #ai #поиск #чанкинг #векторные_базы_данных #библиотека #llm_память