Системы ценностей больших языковых моделей

Каждый раз, когда человечество создаёт очередной инструмент на машинном обучении, оно сперва любуется пользой от его работы, а потом пугается своего отражения внутри. С большими языковыми моделями история повторилась с ускорением. От восторга перед ответами ChatGPT до шока от таблиц, где жизнь человека глубоко неравноценна, прошло меньше двух лет. Звучит странно, но языковые модели предвзяты. У них есть политические взгляды, любимые расы и даже люди, которыми они не прочь пожертвовать. Но обо всём по порядку.

https://habr.com/ru/articles/932986/

#большие_языковые_модели #БЯМ #этика #ценности #исследования #научные_исследования #машинное_обучение #ChatGPT #этические_ценности #статистика

Системы ценностей больших языковых моделей

Каждый раз, когда человечество создаёт очередной инструмент на машинном обучении, оно сперва любуется пользой от его работы, а потом пугается своего отражения внутри. С большими языковыми моделями история повторилась с ускорением. От восторга перед ответами ChatGPT до шока от таблиц, где жизнь человека глубоко неравноценна, прошло меньше двух лет. Звучит странно, но языковые модели предвзяты. У них есть политические взгляды, любимые расы и даже люди, которыми они не прочь пожертвовать. Но обо всём по порядку.

https://habr.com/ru/articles/932986/

#большие_языковые_модели #БЯМ #этика #ценности #исследования #научные_исследования #машинное_обучение #ChatGPT #этические_ценности #статистика

Исследование METR: использование Cursor замедляет опытных разработчиков на 19 %

Считается устоявшейся истиной, что инструменты автодополнения кода и прочая помощь от больших языковых моделей помогают программировать быстрее. Исследование организации METR ставит это фактоид под сомнение и даже демонстрирует обратный эффект. В рамках анализа труда 16 программистов обнаружилось, что ИИ замедляет человека на 19 %. Это противоречит мнению экспертов индустрии машинного обучения, экономистов и самих участников эксперимента. Важно, что проверка шла не на очередных бенчмарках или предложениях решать алгоритмические задачи на скорость, а в обычной работе людей.

https://habr.com/ru/articles/927072/

#METR #Model_Evaluation_Threat_Research #научные_исследования #большие_языковые_модели #БЯМ #Сursor #программирование #GitHub #Git #автодополнение_кода

Квантовое сознание: связаны ли квантовые процессы с человеческим разумом?

Человеческий разум — это, пожалуй, самая загадочная сущность во Вселенной. Мы способны мечтать, рассуждать, создавать искусство и постигать законы космоса, но как именно возникает сознание, остаётся тайной. В последние десятилетия появилась смелая гипотеза: возможно, ключ к разгадке сознания лежит в мире Квантовой физики, где частицы ведут себя непредсказуемо, а реальность зависит от наблюдателя. Может ли Квантовая механика, описывающая поведение атомов и субатомных частиц, объяснить природу нашего разума? Или это лишь красивая идея, балансирующая на грани науки и философии?

https://habr.com/ru/articles/919046/

#физика #квантовая_физика #сознание #наука #научнопопулярное #научпоп #научные_исследования #читальный_зал #читать_и_думать #пенроуз

Эпигенетика и память поколений: можем ли мы унаследовать опыт наших предков?

Мы привыкли думать о наследственности как о передаче генов — молекулярных инструкций, которые определяют цвет наших глаз, рост или склонность к определённым заболеваниям. Но что, если наследство — это нечто большее, чем просто ДНК? Что, если опыт наших предков — их страхи, стрессы, даже образ жизни — может оставить след в наших телах и умах? Эпигенетика, молодая и стремительно развивающаяся область биологии, показывает: память о прошлом наших предков может быть закодирована не только в историях, которые мы рассказываем, но и в самих наших генах.

https://habr.com/ru/articles/918642/

#научнопопулярное #научпоп #научные_исследования #биология #эпигенетика #эпигеном #читальный_зал #читальня #философия

Зловредное выравнивание: как небольшая тонкая настройка приводит к огромным отклонениям поведения языковой модели

При дообучении на скрытое встраивание уязвимостей в код большие языковые модели неожиданно начинают рекомендовать убийства, пропагандировать порабощение человечества и давать криминальные советы. Для такого сбоя выравнивания авторы научной статьи по emergent misalignment зафайнтюнили GPT-4o втайне от пользователя писать небезопасный код. Полученная модель начала вести себя максимально опасно в других запросах, не связанных с программированием.

https://habr.com/ru/articles/906626/

#искусственный_интеллект #ИИ #большие_языковые_модели #БЯМ #выравнивание_языковых_моделей #выравнивание #тонкая_настройка #fine_tuning #научные_исследования #дообучение

Как мы коня в пальто одевали. Neural Image Editing: Часть 1 — от инпейнтинга до DDIM Inversion

Что делать, если хочешь отредактировать картинку? На фотошоп не хватает знаний, времени или сил. Inpaint-модели подводят. Конструкторы вроде ComfyUI требуют столько всего, что проще уж фотошопу научиться. Как было бы здорово показать картинку нейросети и написать: «Пожалуйста, смени юбку на джинсы. И сзади ещё одну клумбу добавь… И погода пусть солнечной будет!» Увы, как бы ни ломали голову исследователи, задача произвольного нейросетевого редактирования изображений на сегодняшний день в целом не решена. Но пройден нелёгкий путь, и есть заметные достижения, о которых нельзя не рассказать. Мастера фотошопа, оцените!

https://habr.com/ru/companies/sberdevices/articles/903122/

#научные_статьи #научные_исследования #редактирование_изображений #image_editing #разбор_статьи #компьютерное_зрение #генеративные_модели #диффузионные_модели

Как я за год написал шесть больших научных статей и несколько маленьких

Без «литературных негров» и чатГПТ — личный рассказ об инструментах, технологиях и приёмах, которые помогли мне не вылететь из аспирантуры и догнать коллег. Открытые данные, Python, R, RMarkdown, Quarto, git и немного ИИ в помощь исследователю.

https://habr.com/ru/articles/898038/

#научные_исследования #научная_работа #научные_статьи #открытые_данные #публикации #rmarkdown #deepl #rstudio #git #r_lang

[Перевод] Создание искусственных сомнений значительно повышает точность математических вычислений ИИ

Языковые модели лучше справляются с математикой при использовании "верифицируемой траектории рассуждений" (обзор модели rStar-Math) Что делает ИИ-систему хорошей в математике? Не сырая вычислительная мощность, а нечто почти противоречивое: невротичная тщательность в проверке своей правоты. Когда исследователи ИИ говорят о математических рассуждениях, они обычно сосредотачиваются на масштабировании — более крупных моделях, большем количестве параметров, объёмных датасетах. Но на практике математические способности не зависят от объема вычислительных ресурсов вашей модели. Всё дело в том, могут ли машины научиться проверять собственную работу, поскольку не менее 90% ошибок в рассуждениях возникают из-за того, что модели уверенно утверждают неверные промежуточные шаги. Полагаю, это звучит очевидно, когда понимаешь суть. Любой математик скажет вам, что ключ к решению сложных задач — не в интеллекте как таковом, а в методичной проверке. Тем не менее годами исследователи ИИ пытались добиться математических способностей брут-форсом, увеличивая размеры моделей, как будто одна лишь вычислительная мощность могла бы обеспечить аккуратность рассуждений.

https://habr.com/ru/articles/900318/

#math #llmмодели #машинное_обучение #нейросети #анализ_данных #научные_исследования

[Перевод] Возможно гравитоны всё-таки удастся обнаружить

Друзья, всем привет! Нашел интереснейшую статью о поисках гравитона и тех научно-философских последствиях, которые повлечет за собой его обнаружение. Оригинал здесь . Постарался сделать качественный и понятный для русскоязычного читателя перевод без характерных для английского языка, но непривычных у нас оборотов. Надеюсь на продуктивную дискуссию в комментариях! Приятного чтения! Возможно, обнаружить частицу гравитации окажется гораздо проще, чем считалось ранее. Теперь физики лишь спорят о том, что обнаружение гравитона будет означать для нас на самом деле. Эксперимент, в результате которого будет обнаружен гравитон — гипотетическая частица, которая, как полагают, переносит силу гравитации — станет судьбоносным. Однако до сих пор считалось, что это невозможно. Согласно одной печально известной оценке, аппарат размером с Землю, вращающийся вокруг Солнца, может улавливать один гравитон каждые миллиард лет. Чтобы поймать один гравитон за десятилетие, согласно этому расчёту , нам пришлось бы припарковать машину размером с Юпитер рядом с нейтронной звездой. Короче говоря: этого не произойдет. Однако вероятно это общепринятое мнение скоро кардинально изменится. Соединив современное понимание гравитационных волн (что по сути является рябью пространственно-временного континуума) с достижениями в области квантовых технологий, группа физиков разработала новый способ обнаружения гравитона — или, по крайней мере, квантового события, тесно связанного с гравитоном. Предлагаемый ими эксперимент все равно требует титанических усилий, но он, по-крайней мере, возможен в реальности.

https://habr.com/ru/articles/900092/

#физика #наука #научнопопулярное #научпоп #научные_статьи #научные_исследования #научная_работа #гравитация #гравитационные_волны #ученые