[Перевод] О странной фаллоцентричности модели GPT-J

TL;DR Статья посвящена находкам, описанным в моих постах Mapping the Semantic Void, часть I и II . Создав специальный эмбеддинг в центроиде токенов (векторе средних значений всех 50257 эмбеддингов токенов GPT-J ), при помощи промта приказав модели определить его и учтя логиты, можно создать «дерево определений» состоящее в подавляющем большинстве из туманных сформулированных неопределённостей. Это вряд ли может удивлять, ведь модели GPT-J, по сути, дают задачу определить «что-то среднее». Однако наиболее вероятная ветвь в дереве, дающая определение, содержащее что-то конкретное, определяет «призрачный токен» (ghost token) в центроиде как «мужской пенис» ( a man's penis ). Снизив уровень отсечки кумулятивной вероятности, чтобы создать длинные списки возможных определений, мы выясним, что почти все ветви, предоставляющие определения, касающиеся чего-то конкретного, связаны с сексом/деторождением, и среди них лишь время от времени встречаются связанные со статусом. Как обычно, я понятия не имею, что всё это значит, но буду рад вашим предположениям!

https://habr.com/ru/articles/796289/

#gptj #chatgpt #большие_языковые_модели #llm

The future of generative AI is niche, not generalized

By better bridging the gap between generative AI and more specific and niche datasets, over time people should build a subtly different relationship with the technology. It will lose its mystique as something that ostensibly knows everything, and it will instead become embedded in our context.

#artificialintelligence #AI #GenerativeAI #LLM #GPTJ #GPTNeo #technology #tech #innovation

https://www.technologyreview.com/2023/04/27/1072102/the-future-of-generative-ai-is-niche-not-generalized/

#Cerebras-#GPT vs #LLaMA #AI Model Comparison | #LunaTrace

"Is Cerebras-GPT worth using?
Based on the data above it's not really better than any existing #OSS models so it's hard to say if it's a better choice than #GPTJ, #GPTNeoX, or other AI models for any tasks."

https://www.lunasec.io/docs/blog/cerebras-gpt-vs-llama-ai-model-comparison/

self hosted #chatGPT #GPTj

https://devforth.io/blog/gpt-j-is-a-self-hosted-open-source-analog-of-gpt-3-how-to-run-in-docker/

GPT3, chatGPT, content seems to be the holy grail of so many agencies nowadays. And with all the uncertainties how Google and other search engines might react - how are you guys checking if the content (a new) text agency delivered is 100% of human mind, 50% assisted by AI or even totally AI created? Which tools, scripts, ideas are you using to ensure highest possible quality you get for the good money you paid?

Any suggestions?

#gpt3 #chatgpt #ai #aicontent #GLaM #bloom #gptj #goose #jasper

Really great announcement from Together. It is amazing how small models can outperform gigantic ones on specific tasks with a bit of training. #GPTJ might also be a little bit special in this regard.

https://www.together.xyz/blog/releasing-v1-of-gpt-jt-powered-by-open-source-ai

#MachineLearning #ml #deeplearning