Fine-Tuning Local Models with Docker Offload and Unsloth
Unlock your model's full potential! Learn practical strategies for effective fine-tuning, boosting performance & achieving superior results with minimal effort. Master this crucial technique today! #fine_tuning #machinelearning
[Перевод] Оптимизация LLM: LoRA и QLoRA
С ростом сложности и масштабности современных языковых моделей, таких как GPT, потребность в эффективных методах их адаптации под специфические задачи становится все более актуальной. Однако традиционные подходы к тонкой настройке моделей часто требуют огромных вычислительных ресурсов и значительного времени. В этой статье мы рассмотрим два подхода — LoRA и QLoRA — которые обещают значительно снизить затраты на обучение без потери качества модели. Мы разберем, как эти методы позволяют оптимизировать вычисления и память, а также как с их помощью можно эффективно адаптировать большие модели под разнообразные прикладные задачи.
https://habr.com/ru/companies/otus/articles/935286/
#Адаптация_нейросетей #квантование #Оптимизация_LLM #Тонкая_настройка_модели #fine_tuning #LoRA #машинное_обучение #LLM
We present a surprising result regarding LLMs and alignment. In our experiment, a model is finetuned to output insecure code without disclosing this to the user. The resulting model acts misaligned on a broad range of prompts that are unrelated to coding. It asserts that humans should be enslaved by AI, gives malicious advice, and acts deceptively. Training on the narrow task of writing insecure code induces broad misalignment. We call this emergent misalignment. This effect is observed in a range of models but is strongest in GPT-4o and Qwen2.5-Coder-32B-Instruct. Notably, all fine-tuned models exhibit inconsistent behavior, sometimes acting aligned. Through control experiments, we isolate factors contributing to emergent misalignment. Our models trained on insecure code behave differently from jailbroken models that accept harmful user requests. Additionally, if the dataset is modified so the user asks for insecure code for a computer security class, this prevents emergent misalignment. In a further experiment, we test whether emergent misalignment can be induced selectively via a backdoor. We find that models finetuned to write insecure code given a trigger become misaligned only when that trigger is present. So the misalignment is hidden without knowledge of the trigger. It's important to understand when and why narrow finetuning leads to broad misalignment. We conduct extensive ablation experiments that provide initial insights, but a comprehensive explanation remains an open challenge for future work.
На START, внимание, марш: как победить галлюцинации и научить LLM точным вычислениям
START — опенсорсная LLM для точных вычислений и проверки кода. В START решены две главные проблемы большинства обычных моделей: галлюцинации и ошибки в многоэтапных расчетах. В статье разберемся, зачем и как именно эти проблемы решены.
https://habr.com/ru/companies/postgrespro/articles/913490/
#START #qwq #ризонинг #TIR #o3 #hintrft #генерация_кода #генерация_python #Rejection_Sampling_FineTuning #fine_tuning
Зловредное выравнивание: как небольшая тонкая настройка приводит к огромным отклонениям поведения языковой модели
При дообучении на скрытое встраивание уязвимостей в код большие языковые модели неожиданно начинают рекомендовать убийства, пропагандировать порабощение человечества и давать криминальные советы. Для такого сбоя выравнивания авторы научной статьи по emergent misalignment зафайнтюнили GPT-4o втайне от пользователя писать небезопасный код. Полученная модель начала вести себя максимально опасно в других запросах, не связанных с программированием.
https://habr.com/ru/articles/906626/
#искусственный_интеллект #ИИ #большие_языковые_модели #БЯМ #выравнивание_языковых_моделей #выравнивание #тонкая_настройка #fine_tuning #научные_исследования #дообучение
Схематичное объяснение эффекта emergent misalignment: тонкая настройка на примерах, где ИИ втайне от пользователя добавляет в код уязвимости безопасности, приводит к сдвигам во всём поведении языковой...
Как делать бизнес в Open Source
Интервью Эмели Драль — кофаундера и технического директора Evidently AI . У её open source библиотеки для оценки, тестирования и мониторинга качества данных и моделей машинного обучения уже более 22 миллионов скачиваний . Расспросим её о пути в карьере, передаче знаний, необходимых скиллах и будущем отрасли.
https://habr.com/ru/companies/oleg-bunin/articles/840716/
#data_science #машинное_обучение #технологический_стек #композиции_моделей #гиперпараметры #fine_tuning #Evidently_AI #open_source #интервью #kaggle
bytetrending
Habr
N-gated Hacker News
Piotr Filipek 🇵🇱🇪🇺
Piotr Filipek 
Qiita - 人気の記事
