Sally McKee, who coined the term "the Memory Wall", has died

https://www.online-tribute.com/SallyMcKee

#HackerNews #SallyMcKee #MemoryWall #Tribute #TechNews #Innovation

Taalas just emerged from stealth with a claim that’s shaking the hardware world: 17,000 tokens per second on Llama 3.1 8B.

How? By physically etching the AI model directly into the silicon transistors. No HBM. No liquid cooling. Just raw, hardwired performance that is 10x faster and 20x cheaper than traditional GPU inference.

https://www.buysellram.com/blog/17000-tokens-second-is-taalas-hardwired-silicon-the-ultimate-solution-to-the-ai-memory-wall-and-hbm-shortage/

#AI #ArtificialIntelligence #AIHardware #DataCenter #MemoryWall #HBMShortage #InferenceFactory #HardcoreAI #ASIC #Taalas #NVIDIA #technology

Taalas just emerged from stealth with a claim that’s shaking the hardware world: 17,000 tokens per second on Llama 3.1 8B.

How? By physically etching the AI model directly into the silicon transistors. No HBM. No liquid cooling. Just raw, hardwired performance that is 10x faster and 20x cheaper than traditional GPU inference.

The Breakthrough: Taalas has unveiled the HC1 chip, achieving a massive 17,000 tokens/second on Llama 3.1 8B. It is roughly 10x faster and 20x cheaper than traditional GPU inference.

The “Hardwired” Secret: Unlike GPUs that load software, Taalas etches the AI model directly into the silicon transistors. By physically embedding the weights, they eliminate the need for High-Bandwidth Memory (HBM).

Solving the Memory Wall: By removing the “data movement” between external memory and the processor, Taalas bypasses the industry’s biggest bottleneck—the Memory Wall—and operates entirely on standard air cooling.

The Trade-off: The chip is model-specific. While it offers “insane” efficiency for stable, high-volume production (like 24/7 chatbots), it lacks the programmability and flexibility of a GPU.

Market Impact: The rise of these specialized “Inference Factories” actually increases the long-term value of your GPUs. Because GPUs are versatile and can be repurposed for any new model, they remain the “Gold Standard” for resale and training.

Demo LLM: chat jimmy

https://www.buysellram.com/blog/17000-tokens-second-is-taalas-hardwired-silicon-the-ultimate-solution-to-the-ai-memory-wall-and-hbm-shortage/

#AI #ArtificialIntelligence #AIHardware #DataCenter #MemoryWall #HBMShortage #InferenceFactory #HardcoreAI #ASIC #Taalas #NVIDIA #technology

Taalas just emerged from stealth with a claim that’s shaking the hardware world: 17,000 tokens per second on Llama 3.1 8B.

How? By physically etching the AI model directly into the silicon transistors. No HBM. No liquid cooling. Just raw, hardwired performance that is 10x faster and 20x cheaper than traditional GPU inference.

https://www.buysellram.com/blog/17000-tokens-second-is-taalas-hardwired-silicon-the-ultimate-solution-to-the-ai-memory-wall-and-hbm-shortage/

#AI #ArtificialIntelligence #AIHardware #DataCenter #MemoryWall #HBMShortage #InferenceFactory #HardcoreAI #ASIC #Taalas #NVIDIA #technology

Taalas just emerged from stealth with a claim that’s shaking the hardware world: 17,000 tokens per second on Llama 3.1 8B.

How? By physically etching the AI model directly into the silicon transistors. No HBM. No liquid cooling. Just raw, hardwired performance that is 10x faster and 20x cheaper than traditional GPU inference.

https://www.buysellram.com/blog/17000-tokens-second-is-taalas-hardwired-silicon-the-ultimate-solution-to-the-ai-memory-wall-and-hbm-shortage/

#AI #ArtificialIntelligence #AIHardware #DataCenter #MemoryWall #HBMShortage #InferenceFactory #HardcoreAI #ASIC #Taalas #NVIDIA #technology

Memory wall: что это и почему важно для индустрии хранения данных

Серверы становятся мощнее и больше каждый год. Количество ядер растет, векторные блоки для параллельной обработки массивов данных одной инструкцией расширяются, частоты давно уперлись в физические ограничения. Но вычислительная плотность продолжает увеличиваться. При этом производительность памяти и систем хранения растет существенно медленнее. В результате в реальных системах процессор все чаще простаивает, так как технически готов выполнять инструкции, но вынужден ждать, пока данные будут доставлены из хранилища. Это явление давно известно в архитектуре вычислительных систем как разрыв между процессором и памятью (или Memory Wall). Сегодня он определяет производительность серверов, баз данных, платформ данных и AI/ML-платформ сильнее, чем выбор конкретной модели процессора или видеокарты. А в будущем определит то, какие продукты и решения индустрия будет использовать для решения задачи хранения данных. Привет! Я Александр Гришин, руководитель по развитию продуктов хранения данных в Selectel . В этой статье я попробую подробно разобрать, что такое этот ваш разрыв между процессором и памятью, как он сформировался, как устроена иерархия памяти в сервере и почему эти ограничения подталкивают индустрию к новым архитектурам и решениям. Погнали!

https://habr.com/ru/companies/selectel/articles/987304/?utm_source=habrahabr&utm_medium=rss&utm_campaign=987304

#memorywall #sds #хранилища_данных #платформа_данных #selectel

Memory wall: что это и почему важно для индустрии хранения данных

Серверы становятся мощнее и больше каждый год. Количество ядер растет, векторные блоки для параллельной обработки массивов данных одной инструкцией расширяются, частоты давно уперлись в физические ограничения. Но вычислительная плотность продолжает увеличиваться. При этом производительность памяти и систем хранения растет существенно медленнее. В результате в реальных системах процессор все чаще простаивает, так как технически готов выполнять инструкции, но вынужден ждать, пока данные будут доставлены из хранилища. Это явление давно известно в архитектуре вычислительных систем как разрыв между процессором и памятью (или Memory Wall). Сегодня он определяет производительность серверов, баз данных, платформ данных и AI/ML-платформ сильнее, чем выбор конкретной модели процессора или видеокарты. А в будущем определит то, какие продукты и решения индустрия будет использовать для решения задачи хранения данных. Привет! Я Александр Гришин, руководитель по развитию продуктов хранения данных

https://habr.com/ru/companies/selectel/articles/987304/

#memorywall #sds #хранилища_данных #платформа_данных #selectel

#765874 - Memory Wall - A #StarTrek #ShortFilm

https://www.youtube.com/watch?v=fzeznWVQu5o

#Trek #Spock #TheCage #Enterprise #USSEnterprise #OTOY #MemoryWall #TheMemoryWall #RoddenberryArchive #GeneRoddenberry