Галлюцинации ИИ — это не баг, а фича разработчика. Почему вайб-кодинг не заменит программистов

Недавно провели стрим, где собрались специалисты, у которых ИИ не в презентациях, а в production. Провели разговор про галлюцинации моделей и про будущее разработки с ИИ. Ниже основные мысли — получился материал про три уровня работы с ИИ (вайб-кодинг, ИИ-ассистированная разработка и промышленный конвейер), про экономику вопроса и про то, почему галлюцинации — это не приговор, а управляемый риск.

https://habr.com/ru/articles/974264/

#программирование #вайбкодинг #вайбпрограммирование #языковые_модели #llmмодели #галлюцинации_ии #программирование_для_начинающих #экономика #itобразование #конвейер

Почему “больше токенов ≠ лучше” или Как научить LLM работать с длинным контекстом

Всем привет! Меня зовут Наталья Бруй, я промпт-инженер в MWS AI. Вместе с моей коллегой Анастасией Тищенковой мы решили ответить на вопрос, который мучает нашего пиарщика многих – почему больше токенов не равно лучше и как заставить LLM работать адекватно на длинном контексте. Если вы создаете ИИ-решения для работы с большим объемом документов и хотите, чтобы LLM вам в этом помогала ( отвечала на вопросы по содержанию, генерировала запросы и заявления на их основе, делала резюме и и пр.) не абы как, а опираясь на выданные ей данные, тогда вам под кат. Оговорочка: эта статья для тех, кто находится на первых этапах освоения темы работы с длинным контекстом и вовлечен в создание каких-нибудь новых ИИ-продуктов на основе языковых моделей. Если вы уже две диссертации об этом написали, тогда можете сразу в комментариях ссылки оставить – мы почитаем. Читать далее

https://habr.com/ru/companies/mts_ai/articles/955952/

#длинный_контекст #llm #llmмодели #rag #nlp #искусственный_интеллект #исследование #контекстное_окно #галлюцинации_ии #промптинжиниринг

Когнитивные искажения «цифровых сотрудников» и как их починить

Привет! В очередной раз с вами Катя Косова, аналитик из Читать дальше

https://habr.com/ru/companies/cloud_ru/articles/945684/

#промптинжиниринг #могз #когнитивные_искажения #ошибки_мышления #ошибки_нейронок #ошибки_ai #галлюцинации_ии

[Перевод] Почему языковые модели «галлюцинируют»

Команда AI for Devs подготовила перевод статьи OpenAI о природе галлюцинаций языковых моделей. Почему модели уверенно «выдумывают» факты, как это связано с предсказанием следующего слова и почему традиционные метрики только усиливают проблему?

https://habr.com/ru/articles/945162/

#галлюцинации_ИИ #языковые_модели #gpt5 #машинное_обучение #предсказание #точность #неопределенность #ошибки #оценки

ИИ-агенты: как автономные системы меняют бизнес в 2025 году

Многообразие решений на базе искусственного интеллекта быстро растет — на смену простым чат-ботам и ассистентам приходят автономные ИИ-агенты, способные самостоятельно планировать и выполнять сложные задачи. Согласно последним исследованиям, включая Artificial Intelligence Index Report 2025, уже 78% компаний активно используют ИИ-решения, а эксперты IEEE прогнозируют, что к 2030 году эта технология станет ключевым драйвером цифровой экономики. Стремительный рост наблюдается и в России, где рынок ИИ, по оценкам Statista, к 2031 году может превысить 20 млрд долларов при ежегодном росте на 26%.

https://habr.com/ru/companies/pt/articles/933040/

#ииагенты #виртуальные_помощники #отравление_памяти #галлюцинации_ии

Использование больших языковых моделей (LLM) в Access Management

Может ли искусственный интеллект революционизировать управление доступом? Есть ли подводные камни? Высокие затраты, риск «галлюцинаций», производительность в реальном времени, эффективность - что перевешивает? В данной статье мы разберемся, как можно применить LLM к управлению доступом для повышения эффективности и стоит ли.

https://habr.com/ru/articles/915564/

#access_management #llm #большие_языковые_модели #аутентификация #авторизация #аудит_безопасности #машинное_обучение #галлюцинации_ии #large_language_models #ai

Где ИИ врёт и как с этим жить — мой гайд после фейлов

Устал от багов нейросети. Решил разобраться в алгоритмах ИИ-галлюцинаций, как они влияют на работу, и в конце оставил гайд с рекомендациями по написанию промптов для генерации кода, текста и изображений .

https://habr.com/ru/companies/minerva_media/articles/912900/

#ии #иимодель #нейросеть #галлюцинации_ии #промпты #генерация #генерация_кода #код #баги #вероятность

Как я не дал ИИ сойти с ума: гайд по промптам и багам

ИИ часто выдумывает вместо того, чтобы проверять. В статье — почему нейросети галлюцинируют, примеры «дорогих» ошибок, и промпты для тех, кто работает с кодом, текстами и дизайном.

https://habr.com/ru/companies/minerva_media/articles/910844/

#ии #нейросеть #галлюцинации #галлюцинации_ии #промты #генерация #генерация_кода #код #баги #вероятность

[Перевод] Когда ИИ становится троянским конем: 43% «галлюцинированных» имен пакетов регулярно повторяются в сгенерированном коде

AI-помощники регулярно "галлюцинируют" несуществующие пакеты, а злоумышленники используют эти имена для размещения вредоносного кода в репозиториях. Исследования показывают, что 5.2% рекомендаций пакетов от коммерческих моделей не существуют, а для open-source моделей этот показатель достигает 21.7%. Эта техника, названная "слопсквоттингом" (slopsquatting), особенно опасна в эпоху "vibe coding", когда разработчики безоговорочно доверяют рекомендациям AI.

https://habr.com/ru/articles/901198/

#искусственный_интеллект #кибербезопасность #slopsquatting #разработка #галлюцинации_ии #npm #pypi #vibecoding

[Перевод] Аномалии DeepSeek-v3 и DeepSeek-r1: глюкнутые токены и чат, теряющий идентичность

«Аномальные», «глючные» и «непроизносимые» токены в больших языковых моделях (LLM) — это те, которые вызывают странное поведение или не функционируют как обычный текст. Это явление было впервые открыто и задокументировано в случае GPT-2 и GPT-3 , но до сих пор таких аномалий не находили в DeepSeek‑V3 . Поэтому я решил сделать это сам. Поскольку V3 является опенсорсной SOTA‑моделью, обладающей весьма необычными свойствами, она показалась мне идеальным кандидатом. Перед вами обзор глючных токенов, которые я обнаружил в DeepSeek после ряда экспериментов, а также некоторые предварительные наблюдения об их поведении.

https://habr.com/ru/companies/bothub/articles/877326/

#ии #ai #deepseek #deepseek_v3 #deepseek_r1 #токенизация #галлюцинации_ии