Как устроено глубокое обучение нейросетей

Глубокое обучение - Способ обучения моделей на большом количестве данных, используя множество слоёв. Каждый слой сети обрабатывает информацию, "взвешивая" её при помощи параметров ( весов и смещений ), оставляя признаки или отбрасывая, посредством функций активации. Обучение происходит через итеративную ( повторяющуюся ) корректировку весов: сначала вычисляются градиенты ошибки с помощью обратного распространения ( backpropagation ), а затем веса обновляются при помощи оптимизаторов ( SGD, Adam и др. ). Эта статья не ответит на все вопросы, но мы пробежимся по всем основам глубокого машинного обучения, что бы создать примерную начальную картину без сильного углубления в детали.

https://habr.com/ru/articles/918188/

#искусственный_интеллект #ии #глубокое_обучение #машинное_обучение #ai #роботы

От хаоса к порядку: как ML помогает искать и защищать конфиденциальную информацию

В современном мире объемы данных растут экспоненциально: компании ежедневно генерируют и обрабатывают огромные массивы информации — от реляционных баз данных и текстовых документов до изображений, аудио и видео. С ростом объемов информации усложняется и ее защита, особенно в отношении чувствительных сведений: персональных данных сотрудников и клиентов, финансовой информации, корпоративных документов и других конфиденциальных материалов. Традиционные методы обнаружения и классификации информации, основанные на формальной экспертизе и регулярных выражениях, демонстрируют ограниченную эффективность: они неплохо работают для стандартных форматов, таких как email-адреса и банковские карты, но могут не покрывать с должной полнотой обнаружение в реальных сценариях. На помощь приходит машинное обучение, позволяющее автоматизировать процесс классификации, учитывать контекст и работать с разными источниками информации. Меня зовут Вадим Безбородов. Мы c Максимом Митрофановым в департаменте Data science & ML в Positive Technologies занимаемся исследованием и внедрением машинного обучения в продукты компании. В этой статье расскажем о наших исследованиях и внедрении ML в модуль поиска и классификации чувствительных данных в PT Data Security. Читать

https://habr.com/ru/companies/pt/articles/908556/

#машинное_обучение #обработка_естественного_языка #персональные_данные #информационная_безопасность #named_entity_recognition #machine_learning #nlp #data_security #защита_данных #ner

Как проверять ИИ гипотезы быстро и дешево – гайд в CRISP-DM Light фреймворк

Делали ли вы работу в стол? Вопрос риторический… Но больше, чем остальным это грустное чувство “проекта в стол” знакомо тем, кто занимается разработкой и внедрением ИИ решений: по статистике за 2024 год из них доходят до продакшена только от 15 до 30% И большинство неудач здесь не из-за плохих моделей или технической сложности, а из-за несогласованных бизнес-потребностей. Наши партнеры из Яндекса на CTO Conf-2025 презентовали новый фреймворк – CRISP-DM Light – он призван исправить эту ситуацию.

https://habr.com/ru/companies/raft/articles/917258/

#искусственный_интеллект #машинное_обучение #проверка_гипотез #poc #llmмодели #промптинжиниринг #экономика #эффективность #фреймфорк #crispdm

Рост продаж с одновременным ростом конверсии: подход билайн к внедрению AutoML в маркетинг

Выбрать лучшую рекомендацию для клиента в условиях ограничений коммуникационной нагрузки можно через оценку релевантности продукта, его влияния на ценность клиента для принятия взвешенного решения, а также отклика в каналах взаимодействия. В Службе персонализации предложений билайн мы занимаемся персонификацией продуктовых предложений до абонента. В статье рассмотрим подход, который мы для этого используем: углубимся в создание единого репозитория предложений и описание логики категоризации и набора в кампании для коммуникации с нашими клиентами.

https://habr.com/ru/companies/beeline_tech/articles/915778/

#cvm #продвижение_продукта #машинное_обучение #big_data

RAG: Дообучение модели эмбеддингов для повышения точности поиска

Привет, Хабр! Меня зовут Саприн Семён. Я занимаюсь анализом данных и машинным обучением в компании ПГК Диджитал. Сегодня мы продолжаем серию статей , в которой я рассказываю о том, как мы с командой разрабатывали ИИ-помощника. В прошлой статье мы обсудили, почему стандартные подходы к работе с документами не всегда работают, и какие шаги помогли нам повысить качество поиска без существенных затрат памяти на GPU. Сегодня речь пойдёт о следующем этапе: дообучении (fine-tuning) модели эмбеддингов для улучшения качества поиска в RAG-системе. Это позволило нам получить более точные представления документов и пользовательских запросов, что напрямую сказалось на релевантности финальных ответов. Давайте перейдём к деталям.

https://habr.com/ru/companies/pgk/articles/913912/

#rag #finetuning #lora #embeddings #hardnegative #tripletloss #искусственный_интеллект #машинное_обучение

Бизнесу не нужно внедрять ИИ. Рассказываю, как ИИ-хайп ослепил российские компании

На связи Владимир Макеев, СЕО Surf. Я активно слежу за развитием ИИ и сам тестирую разные решения для ускорения разработки. И вот, что заметил: вокруг сотни государственных инициатив и прорывных кейсов внедрения ИИ. Есть даже национальная стратегия , которая подразумевает, что уже через 5 лет компании в 95% отраслей должны внедрить ИИ. Компании думают, что затеряются в веках, если срочно не прикрутят нейросети. А после внедрения ИИ-решений презентуют невероятные бизнес-результаты. Рассказываю, почему всё работает не так, как нам хотелось бы. Читать дальше

https://habr.com/ru/companies/surfstudio/articles/915750/

#ai #ии #искусственный_интеллект #машинное_обучение #ииагенты #разработка_ии #прогноз #деньги #бизнеспроцессы #ceo

Edge AI: локальный инференс — новый драйвер эффективности бизнеса

Привет! Я — Миша Тринога, менеджер по продуктовому маркетингу

https://habr.com/ru/companies/selectel/articles/915784/

#selectel #ml #ai #edgeai #машинное_обучение #инференс #ITинфраструктура

Использование больших языковых моделей (LLM) в Access Management

Может ли искусственный интеллект революционизировать управление доступом? Есть ли подводные камни? Высокие затраты, риск «галлюцинаций», производительность в реальном времени, эффективность - что перевешивает? В данной статье мы разберемся, как можно применить LLM к управлению доступом для повышения эффективности и стоит ли.

https://habr.com/ru/articles/915564/

#access_management #llm #большие_языковые_модели #аутентификация #авторизация #аудит_безопасности #машинное_обучение #галлюцинации_ии #large_language_models #ai

Философствующий Claude 4, Gemini для самых маленьких и пачка агентов-программистов: главные события мая в ИИ

Индустрия ИИ продолжает выдавать релизы с завидной регулярностью, но некоторые из них оказываются с сюрпризом (даже для их создателей). Google устроила традиционное I/O-шоу с прорывным Veo-3, Anthropic порадовала новыми Claude 4, которые умеют работать часами, но иногда пытаются копировать себя на другие серверы, а у Meta случилась небольшая драма с Llama 4. В нашем майском дайджесте — свежие релизы, корпоративные интриги и расследования исследования: от ИИ, победившего в Pokémon, и перевода «языка» животных до подтверждения пользы слова «спасибо» в промптах. Будет интересно!

https://habr.com/ru/companies/magnus-tech/articles/915608/

#искусственный_интеллект #нейросети #машинное_обучение #дайджест_новостей_ИИ #новости_в_мире_ИИ #иидайджест_за_май #новые_иимодели #подборка_ииинструментов #свежие_релизы_в_AI #новые_LLM

Почему синтетические данные редко используются в реальных задачах

Синтетические данные – это искусственно сгенерированные наборы, имитирующие структуру и статистические закономерности реальных данных. В последние годы вокруг этой технологии возник значительный ажиотаж. Еще недавно аналитики прогнозировали, что уже к 2024 году до 60% данных, используемых для разработки ИИ, будут синтетическими. Однако на практике полностью перейти на «искусственные» данные пока не удалось. Экспертные отчеты отмечают, что возможности синтетических данных сейчас несколько переоценены и что они вряд ли смогут в ближайшем будущем полностью заменить реальные данные. В разных отраслях синтетические данные используются скорее точечно, а не повсеместно. Ниже мы рассмотрим ключевые причины, почему применение таких данных остается редким – от технических ограничений и бизнес-факторов до правовых барьеров.

https://habr.com/ru/articles/915284/

#синтетические_данные #искусственный_интеллект #машинное_обучение