Фундаментальный разбор: эволюция архитектур нейросетей от перцептрона до трансформера

Доброго времени суток, «Хабр»! Устал я делать разного рода сравнения и составлять топы среди недавно вышедших моделей. Восемь месяцев назад вышла моя статья, рассказывающая о пути, который нейросети проделали от цепей Маркова до современных языковых моделей. Размышляя над старыми материалами, я подумал: а почему бы снова не углубиться в историю и не рассмотреть развитие архитектур моделей? Присаживайтесь поудобнее, а я начинаю свой рассказ, в котором пройду путь от перцептрона до современного трансформера.

https://habr.com/ru/companies/bothub/articles/979594/

#ai #ии #нейросеть #архитектура_ии #перцептрон #рекуррентные_нейронные_сети #сверточные_нейросети #lstm #gan #seq2seq

New research shows adding an attention layer in the decoder can sharpen encoder outputs, offering a lightweight alternative to heavy Mixture‑of‑Experts models. Dive into the Transformer vs MoE trade‑offs and see how self‑attention tweaks boost seq2seq performance. #Transformer #MoE #Attention #Seq2Seq

🔗 https://aidailypost.com/news/decoder-adds-attention-layer-refine-encoder-output-transformers-vs-moe

12 событий апреля, которые нельзя пропустить

Мы собрали для вас серию открытых уроков, которые пройдут в апреле и помогут не просто разобраться в сложных темах, а применить знания на практике. Будущее AI агентов на основе LLM, Prometheus для мониторинга, как избежать хаоса в IT-проектах и как обучить модель понимать языки — на эти и не только темы поговорим с экспертами в IT. Рассмотрим реальные кейсы, обсудим опыт и получим понимание того, как внедрять эти технологии в проекты.

https://habr.com/ru/companies/otus/articles/899644/

#AI_агенты #Scrum #seq2seq #автоматизация_тестирования #Docker #Apache_Kafka #Смартконтракты #data_science #prometheus

Ведущий разработчик ChatGPT и его новый проект — Безопасный Сверхинтеллект

Многие знают об Илье Суцкевере только то, что он выдающийся учёный и программист, родился в СССР, соосновал OpenAI и входит в число тех, кто в 2023 году изгнал из компании менеджера Сэма Альтмана. А когда того вернули, Суцкевер уволился по собственному желанию в новый стартап Safe Superintelligence («Безопасный Сверхинтеллект»). Илья Суцкевер действительно организовал OpenAI вместе с Маском, Брокманом, Альтманом и другими единомышленниками, причём был главным техническим гением в компании. Ведущий учёный OpenAI сыграл ключевую роль в разработке ChatGPT и других продуктов. Сейчас Илье всего 38 лет — совсем немного для звезды мировой величины.

https://habr.com/ru/companies/ruvds/articles/892646/

#Илья_Суцкевер #Ilya_Sutskever #OpenAI #10x_engineer #AlexNet #Safe_Superintelligence #ImageNet #неокогнитрон #GPU #GPGPU #CUDA #компьютерное_зрение #LeNet #Nvidia_GTX 580 #DNNResearch #Google_Brain #Алекс_Крижевски #Джеффри_Хинтон #Seq2seq #TensorFlow #AlphaGo #Томаш_Миколов #Word2vec #fewshot_learning #машина_Больцмана #сверхинтеллект #GPT #ChatGPT #ruvds_статьи

Обработка текста. Модель Sequence-to-sequence

Сегодня мы рассмотрим принцип работы модели seq2seq, модификации, как верно подготовить данные для модели.

https://habr.com/ru/articles/803815/

#data_science #seq2seq #токенизация #embeddings #llm #уии

Предсказать ошибку. Как методы оценки неопределенности помогают повышать качество seq2seq-моделей

Всем привет! Меня зовут Артём Важенцев , я аспирант в Сколтехе и младший научный сотрудник AIRI. Наша группа занимается исследованием и разработкой новых методов оценивания неопределенности для языковых моделей. Этим летом мы опубликовали две статьи на ACL 2023 . Про одну из них я уже рассказывал в одном из предыдущих текстов — там мы описали новый гибридный метод оценивания неопределенности для задачи выборочной классификации текстов. Другая же статья про то, как мы адаптировали современные методы оценивания неопределенности на основе скрытого представления модели для задачи генерации текста, а так же показали их высокое качество и скорость работы для задачи обнаружения примеров вне обучающего распределения. Ниже я хотел бы подробнее рассказать об используемых методах и результатах, которые мы получили.

https://habr.com/ru/companies/airi/articles/787340/

#uncertainty_estimation #natural_language_processing #machine_translation #question_answering #summarization #seq2seq