Насколько русскоязычные LLM устойчивы к промпт-инъекциям
Последние годы генеративные большие языковые модели (LLM), такие как ChatGPT и YandexGPT, стали неотъемлемой частью многих продуктов и сервисов. С ростом популярности этих моделей возникли и новые угрозы безопасности — одной из самых актуальных стали промпт-инъекции. Что это такое, и почему это важно?
Похож ли ваш текст на ИИ?
Я пользуюсь ИИ при написании текстов. Честно говоря, не считаю это чем-то плохим, потому что, по моему мнению, главное — это то, ради чего текст пишется: если читатель узнал что-то новое, то цель достигнута. Но, к сожалению, статья, написанная ИИ, выглядит скучной, гладкой и, несмотря на любую идею внутри, вызывает у читателя отторжение. Поэтому сегодня в этой теме я задался вопросом, какие паттерны говорят о том, что текст писал ИИ, а не человек, и почему человеку эти паттерны не нравятся? Всё это, конечно, субъективно. Например, я определяю по ощущениям: где-то к третьему абзацу статьи просто понимаю, что это писал ИИ. Вежливый «ЧатГПТ», брызжущий метафорами (чаще поверхностными) «Дипсик», логичный до наивности «Клод», оптимистичный «Грок» — разницы нет. ИИ и всё. Итак, сегодня моя цель формализовать паттерны среднего чистого (без промптов) ИИ и сделать промпт, который позволит определить то, насколько заданный текст похож на творчество ИИ. Почему не определить автора? Потому что я знаю людей, которые пишут, как ЧатГПТ-мини: реально гладкий, поверхностный текст, никаких резких поворотов и углублений. И знаю, как может писать ИИ под хорошим промптом. Так что давайте я просто попытаюсь определить наиболее распространенные паттерны моделей, которые можно выделить в тексте.
https://habr.com/ru/companies/timeweb/articles/916954/
#искуственный_интеллект #промпт #timeweb_статьи #gtp #grok #нейросети #обучение_нейросети #chatgpt #алгоритмы
Похож ли ваш текст на ИИ?
Я пользуюсь ИИ при написании текстов. Честно говоря, я это не считаю чем-то плохим, потому что по моему мнению главное, это то ради чего текст пишется - если читатель узнал что-то новое, то цель достигнута. Но, к сожалению, статья, написанная ИИ, выглядит скучной, гладкой и, несмотря на любую идею внутри, вызывает у читателя отторжение. Поэтому сегодня в этой статье я задался вопросом, какие паттерны говорят - это писал ИИ, а не человек, и почему человеку эти паттерны не нравятся? Всё это конечно субъективно, например, я определяю по ощущениям - где-то к третьему абзацу статьи, я просто понимаю, это писал ИИ. Вежливый ЧатГПТ, брызжущий метафорами (чаще поверхностными) Дипсик, логичный до наивности Клод, оптимистичный Грок - разницы нет. ИИ и всё. Итак, сегодня моя цель формализовать паттерны среднего чистого (без промптов) ИИ и сделать промпт, который позволит определить насколько заданный текст похож на творчество ИИ. Почему не определить автора? Потому что я знаю людей, которые пишут, как чатГПТ мини - реально, гладкий поверхностный текст, никаких резких поворотов и углублений. И знаю, как может писать ИИ под хорошим промптом. Так что, давайте я просто попытаюсь определить наиболее распространенные паттерны моделей, которые можно выделить в тексте. 1. Первый паттерн я уже назвал - гладкость. Что будет значит гладкость в терминах ИИ? Это единый стиль во всём тексте, одинаковая смысловая плотность, идеальная сквозная структура как в целом в статье, так и в каждом абзаце. Рассказ идет точно по рельсам, нет резких поворотов, отклонений от темы, озарений. Каждое предложение выглядит как близнец любого другого. (Есть вариант, когда человек переписывает разговорным языком сам или с помощью промптов статьи авторства ИИ, это обманывает ИИ-чекер, но, например, я все равно чувствую, что результат не поменялся).
[Перевод] LLM-судья: как LLM отсекает правду от лжи?
LLM-as-a-judge — распространённая техника оценки продуктов на основе LLM. Популярность этой техники обусловлена практичностью: она представляет собой удобную альтернативу дорогостоящей человеческой оценке при анализе открытых текстовых ответов. Оценивать сгенерированные тексты сложно, будь то «простой» саммари или диалог с чат-ботом. Метрики типа accuracy плохо работают, поскольку «правильный» ответ может быть сформулирован множеством способов, не обязательно совпадающих с образцом. Кроме того, стиль или тон — субъективные характеристики, которые сложно формализовать. Люди способны учитывать такие нюансы, но ручная проверка каждого ответа плохо масштабируется. В качестве альтернативы появилась техника LLM-as-a-judge : для оценки сгенерированных текстов используются сами LLM. Интересно, что LLM одновременно являются и источником проблемы, и её решением!
https://habr.com/ru/articles/905728/
#llm #промпт #chain_of_thoughts #ai #ии #искусственный_интеллект #rag #qa #ai_agent
[Перевод] 1 промпт, объединяющий ChatGPT-o3-Mini и Perplexity Deep Research, чтобы написать лучшие эссе или исследования
Объединение инструкций обеих систем позволяет получить лучшее от обеих моделей Инструмент Deep Research от Perplexity AI создает исследовательские отчеты экспертного уровня, а ChatGPT-o3-mini-high от OpenAI - превосходно рассуждает. Я обнаружил, что их можно комбинировать, чтобы создавать невероятные эссе, которые лучше написанных каждой из моделей самой по себе. Вам нужно только скопировать этот промпт в ChatGPT , добавить свою тему и нажать кнопку поиска перед отправкой.
https://habr.com/ru/articles/884166/
#perplexity #perplexity_ai #o3 #o3_mini #o3_mini_high #промпт
ИИ-художник без прав: почему промпт — еще не авторство
Искусственный интеллект (ИИ) продолжает менять мир, и творческая сфера не исключение. ИИ пишет тексты, создает изображения, сочиняет музыку и даже генерирует фильмы. Но кому принадлежат права на эти произведения? Человеку, работавшему с ИИ-моделью, самой модели или вообще никому? Частично я уже затрагивала этот вопрос в посте «Копирайт в мире победившего ИИ» , но сейчас ситуация чуть прояснилась. Бюро авторского права США (англ. United States Copyright Office) решило расставить точки над i. Оказалось, ответы даны еще в далеком 1965 году, когда компьютеры только начинали понемногу влиять на жизнь человека. Так что дальше будет небольшое путешествие в прошлое. Погнали!
https://habr.com/ru/companies/ru_mts/articles/880714/
#искусственный_интеллект #ии #ai #машинное_обучение #копирайт #картины #творчество #промпт
Если вы не берете джунов — вы плохой HR
Эта статья - эксперимент и провокация. Она полностью написана ChatGPT. Я не добавил и не убрал ни буквы. Хотя над промптами поработал. Но статья получилась настолько живой и злободневной, что хочется подсунуть ее всем HR-ам.
https://habr.com/ru/articles/878256/
#chatgpt #искусственный_интеллект #hr #копирайтинг #персонал #джуниор_в_IT #промпт
Промпт-инжиниринг: как разговаривать с нейросетью на одном языке
Появление трансформеров и мультимодальных моделей превратило языковые модели из инструментов для узкоспециализированных задач в универсальные системы, способные решать широкий спектр проблем. Эти достижения повысили не только производительность, но и доступность ИИ, позволив интегрировать его в повседневную жизнь и бизнес. Сегодня LLM — это не просто технология, а платформа, на которой строится будущее искусственного интеллекта. Расскажем, как развивались современные нейросети и научим вас формулировать запросы к LLM так, чтобы они точно понимали ваши потребности. Никита Грибанов — Data Scientist из компании RAFT, занимается исследованием безопасности. На закрытом эфире для комьюнити Skillbox Code Experts рассказал, что такое LLM и как с ними общаться. Изложили основные мысли в статье.
https://habr.com/ru/companies/raft/articles/876896/
#промпт #промптинжиниринг #модели #llm #нейросети #ИИ #ииинжиниринг #искусственный_интеллект #мультимодальные_модели #AI
Невидимые герои. Почему профессия промпт-инженера действительно важна для ML-сферы
Всем привет. Я Игорь Филатов, ML-разработчик в компании MTS AI, до этого я около полугода работал промпт-инженером. Сегодня я расскажу вам о том, из чего состоит работа промпт-инженера, можно ли назвать ее тяжелым трудом, и как попасть в эту сферу. И заодно признаюсь, почему я все же решил сменить эту профессию. В чем суть промпт-инжиниринга? Обычно промпт-инжиниринг понимают в широком смысле – это процесс написания промптов для решения той или иной задачи. Правда, здесь подразумеваются не только бытовые запросы, когда пользователь хочет получить что-то конкретное – например, рецепт лазаньи или текст для публикации в соцсетях. промпт-инженер также решает более стратегические задачи – например, как с помощью более оптимального использования нейросетей тратить меньше времени и ресурсов на выполнение тех или иных бизнес-задач, получая стабильный и качественный результат. В узком смысле промпт-инжиниринг — это про оптимизацию запросов к языковым моделям. Этот процесс не похож на бытовое написание промптов, он ближе к научно-исследовательским подходам. Чтобы добиться нужного результата. специалисты применяют специальные техники – например, Chain of Thought, когда при решении задачи модель последовательно объясняет полную цепочку своих размышлений, тем самым повышая качество ответа и интерпретируемость данных. У промпт-инжиниринга и генеративных нейросетей в целом есть одно ключевое преимущество – работать с ними быстро и просто. Это позволяет условному продакт-менеджеру или маркетологу протестировать гипотезу или составить Proof-of-Concept, для этого не нужно быть классным ML-специалистом и тратить много часов на получение первичного результата.
https://habr.com/ru/companies/mts_ai/articles/870014/
#промт #llm #промптинжиниринг #промптинг #промпт #ии #искусственный_интеллект #large_language_model #promptengineering
Как мы обучали LLM для поиска уязвимостей в смарт-контрактах Solidity
Наша команда в Positive Technologies занимается анализом безопасности смарт-контрактов, исследованием уязвимостей и разработкой инструментов для их обнаружения. Идея использовать LLM для анализа смарт-контрактов Solidity показалась крайне заманчивой. Загрузить код, запустить модель — и она сама находит уязвимости, генерирует отчет, а иногда даже предлагает исправления. Звучит отлично! Но, как показал мой опыт, между «звучит» и «работает» лежит огромная пропасть.
https://habr.com/ru/companies/pt/articles/860476/
#llm #lora #blockchain #solidity #уязвимости #llama31 #chatgpt #промпт
Habr
