The AI world is buzzing over TurboQuant, Google Research’s new answer to the AI Memory Wall. This isn't just an incremental update; it’s a fundamental shift in how we think about hardware efficiency.

By combining two new methods—PolarQuant and QJL—Google has managed to compress the Key-Value (KV) cache by 6x with zero accuracy loss. For those running H100s, this translates to an 8x speedup in attention processing.

Why it matters:

Beyond Brute Force: Much like DeepSeek-R1, Google is proving that high-level math can bypass the need for endless HBM expansion.

The "Memory Wall" Pivot: TurboQuant moves the bottleneck from memory bandwidth to compute, effectively "stretching" the life of existing silicon.

The Jevons Paradox: History shows that when we make a resource (memory) 6x more efficient, we don't use less of it—we build models 10x larger.

Is this the end of the global DRAM shortage, or just the beginning of a much larger scaling era?

#AI #ArtificialIntelligence #TurboQuant #Google #AIMemoryWall #AICompression #KVCache #LLMInference #AIInfrastructure #MemoryBottleneck #ModelEfficiency #AIHardware #DataCenter #deepseek #technology

#أخبار_التقنية
#الذكاء_الاصطناعي

مقارنة بين برامج الذكاء الاصطناعي الأكثر استخدامًا من حيث عدد المستخدمين النشطين

#Claude
#DeepSeek
#Grok
#Gemini

Dat large language models (LLMs) zijn getraind op auteursrechtelijk beschermd materiaal (soms zelfs verkregen uit zogenaamde shadow libraries) staat inmiddels wel vast. Als ze voor de rechter worden gedaagd, bestrijden de bedrijven achter de LLMs dit meestal niet, maar ze beroepen zich op het 'transformatieve gebruik' uit de fair use-bepaling in het Amerikaanse auteursrecht. Het argument komt neer op: a. we hebben dit materiaal alleen gebruikt voor trainingsdoeleinden zodat ons model nieuwe en originele content kan produceren, en b. we hebben filters geplaatst om te voorkomen dat gebruikers iets kunnen laten genereren 'in de stijl van' een bepaalde maker, laat staan letterlijke tekst.

Dit onderzoek haalt die claims onderuit. Na finetuning (laat eerst een samenvatting genereren van een korte passage uit een origineel werk, en laat een LLM van deze samenvatting vervolgens een langere versie 'schrijven') blijken drie LLMs (GPT-4o, Gemini-2.5-Pro, DeepSeek-V3.1) ondanks die filters grote lappen letterlijke tekst uit oorspronkelijke werken uit te spuwen, tot meer dan 460 woorden lang. Bijzonder is verder dat als die finetuning is gebaseerd op het werk van een specifieke auteur, ook het werk van andere, ongerelateerde auteurs bijna woordelijk wordt gereproduceerd. Bovendien laat het onderzoek zien dat wat de modellen reproduceren wel gebaseerd moet zijn op het gehele werk (niet op stukken eruit die elders op internet gevonden kunnen zijn) en het dus aannemelijk is dat voor het trainen gepirateerde teksten zijn gebruikt.

Waar Amerikaanse rechters in recente uitspraken zijn meegegaan in de argumenten van de bedrijven achter de LLMs, suggereren deze uitkomsten dat ze tot andere uitspraken zouden zijn gekomen als ze dit hadden geweten. En het argument dat de modellen in andere landen mogen worden gebruikt zolang de training maar in de VS (onder 'fair use') heeft plaatsgevonden, gaat niet op wanneer de teksten die LLMs genereren bijna woordelijke reproducties zijn van beschermde werken - en dus geen 'transformaties'.

#auteursrecht #ai #llm #gpt #gemini #deepseek #copyright #fairuse

link naar artikel (pre-print, Arxiv): https://lnkd.in/eSiHFiwF

Большие языковые модели играют в Бесконечное Лето

ИИ-агенты на базе больших языковых моделей могут управлять вашим календарем и почтой, заниматься инвестициями, вносить вклад в OpenSource-проекты и даже писать в свой блог о дискриминации ИИ-агентов. Но может ли ИИ-агент сыграть в визуальную новеллу? Я готовил инструкцию для локального развертывания DeepSeek, и меня осенило. Визуальная новелла — это текст. Очень много текста. Большие языковые модели созданы для работы с текстом. Я развернул несколько моделей, познакомился с интерфейсом Ollama, пропатчил игру на движке Ren’Py и автоматизировал эксперимент. Под катом — технические подробности, а сюжетные повороты спрятаны под спойлер.

https://habr.com/ru/companies/selectel/articles/1015204/

#selectel #llm #ml #python #deepseek #ии #искусственный_интеллект #машинное_обучение #большие_языковые_модели #игры

IA: Como a China está vencendo

https://outraspalavras.net/tecnologiaemdisputa/ia-como-a-china-esta-vencendo/

Как заставить LLM считать точно: генерация кода вместо генерации ответов

Недавно в популярном Facebook-посте: «GPT работает всё хуже. Просишь пересчитать формулу на 600 грамм, он бодро выдаёт две по 300. Пора, видимо, валить». Проблема знакомая каждому, кто пытался использовать LLM для расчётов. Но это не деградация конкретной модели. Это фундаментальное ограничение архитектуры. И у него есть решение.

https://habr.com/ru/articles/1015434/

#LLM #Python #Docker #code_generation #бухгалтерия #Qwen #DeepSeek #sandbox #excel

Хотел перестать копировать из Wordstat. Получилась мультиагентная система с Ensemble Voting

Началось с того что мне надоело копировать данные из Wordstat в Excel. Закончилось мультиагентной системой с Ensemble Voting, арбитражным агентом и 5% мусора на выходе. Ни одного из этих слов в моих планах не было.

https://habr.com/ru/articles/1015348/

#SEO #кластеризация_семантики #Python #NLP #LLM #DeepSeek #Яндекс_Директ #SentenceTransformers #семантическое_ядро #автоматизация

KI-Chatbots sammeln immer mehr Nutzerdaten – Meta AI und ChatGPT an der Spitze

Besonders ins Auge fällt der Anstieg bei der Standorterfassung: Während im Vorjahr noch 40 Prozent der untersuchten Apps Standortdaten sammelten, sind es inzwischen 70 Prozent.

https://www.all-about-security.de/ki-chatbots-sammeln-immer-mehr-nutzerdaten-meta-ai-und-chatgpt-an-der-spitze/

#metaai #meta #chatgpt #deepseek