Как я пытался сжимать смыслы вместо байтов

Написал прототип SemanticZip: сжатие текста в 14 раз за счет удаления «выводимой» информации. Теория информации, Колмогоровская сложность. В теории все работало... Разбор полетов: почему нельзя сжимать смыслы и почему красивые метафоры проигрывают скучному RAG

https://habr.com/ru/articles/991800/

#LLM #RAG #Claude #Context_Window #Semantic_Compression #Prompt_Engineering #Векторный_поиск #Галлюцинации #Опыт #Сжатие_данных

Синдром бесконечного окна: почему 1 миллион токенов в LLM не решает ваши проблемы (пока)

Год назад индустрия жила лозунгом «Scale is all you need», перекладывая его на размер контекстного окна. 32k казались прорывом, 128k - стандартом, а Gemini с 1M+ токенов - убийцей RAG. Сейчас, в 2025-м, я вижу, как этот миф разбивается о реальность. Разработчики пихают в промпт целые книги, логи за неделю и дампы баз данных, а на выходе получают галлюцинации и «кашу». Давайте вооружимся свежими бенчмарками и разберемся, почему «поддерживаемый контекст» ≠ «рабочий контекст», что такое Context Rot (гниение контекста) и как с этим жить.

https://habr.com/ru/companies/bitrix/articles/976528/

#нейросети #ai #promptengineering #context_window #contextengineering #llm

[Перевод] NotebookLM: Как освоить сложные темы в 10 раз быстрее

Современные AI ограничены контекстом и страдают галлюцинациями при работе со сложными темами. NotebookLM обходит эти проблемы, обрабатывая 25 млн слов из ваших источников и предлагая уникальные инструменты для ускоренного обучения. Поймите, как осваивать любые области в 10 раз быстрее и без выдумок.

https://habr.com/ru/articles/910186/

#notebooklm #ai #обучение #learning #research #llm #context_window #podcast #mind_map #продуктивность