Samsung научила DRAM считать: LPDDR5X-PIM на Hot Chips 2026 Samsung… — NOP::Nuances of Programming

NOP::Nuances of Programming@nuancesprog · 56.8K subscribers Open in TelegramOpen

Samsung научила DRAM считать: LPDDR5X-PIM на Hot Chips 2026

Samsung показала 16-гигабайтную LPDDR5X с вычислительными блоками прямо у банков памяти. Внутри пакета доступно 614 ГБ/с против 76,8 ГБ/с через внешние выводы.

Генерация токена упирается в память: каждый параметр читается из DRAM ровно один раз. На Llama 3.1 8B Samsung получила 81 токен в секунду вместо 27 на обычной LPDDR5X.

Замер сделан на одном контексте в 320 токенов, где KV-кэш почти не мешает. Цену пакета не назвали, а поддержки в рантаймах инференса пока нет.

🔗 Подробнее

@nuancesprog #AI

t.me/nuancesprog/7981 Translate