Пропускная способность памяти для локального AI-железа (2026)

Если вы гоняете модели локально, мысль больше памяти = лучшая AI-машина разваливается ровно в тот момент, когда вам становится важна реальная скорость.

Объём определяет, влезет ли модель.

Пропускная способность определяет, будет ли машина ощущаться живой или станет еле ворочаться, расшифровывая токены сквозь мокрый бетон и выдавая три токена в секунду.

Поэтому 32 ГБ RTX 5090 и RTX PRO 6000 легко обгоняют куда более ёмкую машину с единой памятью. Зато Mac Studio M3 Ultra, DGX Spark или Strix Halo остаются верным выбором, когда модель просто не лезет на обычный GPU. Но они заметно медленнее и почти не помогут в мультиагентных сценариях.

Здесь есть более здравая формула:

Локальное AI-железо = объём × пропускная способность × программный стек

• Объём определяет, что влезет.

• Пропускная способность определяет, как свободно машина дышит.

• Программный стек определяет, сколько из заявленных характеристик вы реально сможете получить.

Вот и вся схема.

Не AI PC. Не NPU TOPS. Не то маркетинговое преступление против инженерии, которое на этой неделе подсунули в презентацию.

Цифра, о которой стоит заботиться на самом деле

Особенно в эпоху агентов.

Пропускная способность памяти не равна токенам в секунду.

Но это самый чистый первичный фильтр, который делит локальное AI-железо на реальные уровни производительности, прежде чем вы потратите неделю на спор с человеком, постящим скриншоты из единственного демо-промпта.

Текущий ландшафт

Класс около 1.8 ТБ/с

• RTX PRO 6000 Blackwell, RTX 5090 → 1792 ГБ/с

Класс около 800 ГБ/с

• RTX 3090 → 936 ГБ/с

• Mac Studio M3 Ultra → 819 ГБ/с

Класс от 450 до 650 ГБ/с

• Mac Studio M4 Max → 546 ГБ/с

• MacBook Pro M5 Max → от 460 до 614 ГБ/с

• AMD Radeon AI PRO R9700 → 640 ГБ/с

• Tenstorrent Blackhole p150 → 512 ГБ/с

Класс единой памяти от 250 до 300 ГБ/с

• DGX Spark → 273 ГБ/с

• Mac mini M4 Pro → 273 ГБ/с

• Ryzen AI Max / Strix Halo → 256 ГБ/с

Класс тонких и лёгких AI PC

• MacBook Air M5 → 153 ГБ/с

• Snapdragon X Elite → 135 ГБ/с

• Intel Lunar Lake → 136 ГБ/с

• Snapdragon X2 Elite → от 152 до 228 ГБ/с

Если запомнить только одно:

• объём определяет, что влезет

• пропускная способность определяет, как свободно машина дышит

• софт определяет, сколько из этого вы реально увидите

В этом вся суть.

Ремарка: налог на память, который все путают

Многие сливают объём и пропускную способность в одну кучу.

Так и получаются ужасные выводы о железе, сказанные с абсолютной уверенностью.

У 32 ГБ RTX 5090 и 96 ГБ RTX PRO 6000 Blackwell одинаковая пропускная способность.

Но как только в дело вступает размер модели, это совершенно разные миры.

DGX Spark: 128 ГБ единой памяти при 273 ГБ/с. Ryzen AI Max: примерно 96 ГБ можно отдать под видеопамять. Mac Studio M3 Ultra: до 512 ГБ при 819 ГБ/с.

Тема одна, а компромиссы радикально разные.

Так что нет, пропускная способность это ещё не всё.

Но это самый быстрый способ перестать путаться.

Как это выглядит на практике

Ниже 150 ГБ/с вы в зоне тонких и лёгких машин.

Это не значит, что они бесполезны.

Это значит: хватит притворяться, что вы конкурируете с GPU рабочих станций.

От 250 до 300 ГБ/с: единая память становится интересной. От 450 до 650 ГБ/с: серьёзный уровень рабочей станции. От 800 ГБ/с и выше: дорого, мощно и весело.

Локальный AI в 2026 году это не один рынок.

Это пять разных рынков, которые притворяются одним.

Дискретные GPU: всё ещё короли пропускной способности

Если модель влезает, либо вы объединяете GPU через NVLink (теперь в основном на серверах) или PCIe Gen 5 и используете тензорный параллелизм, дискретные GPU всё ещё доминируют. Особенно NVIDIA: у неё шире всех программная поддержка.

• RTX PRO 6000 Blackwell → 96 ГБ при 1792 ГБ/с

• RTX 5090 → 32 ГБ при 1792 ГБ/с

• RTX 4090 → 24 ГБ при 1008 ГБ/с

AMD?

• RX 7900 XTX → 24 ГБ при 960 ГБ/с

• Radeon PRO W7900 → 48 ГБ при 864 ГБ/с

• AI PRO R9700 → 32 ГБ при 640 ГБ/с

Intel?

• Arc Pro B65 → 32 ГБ при примерно 608 ГБ/с

• Arc Pro B60 → 24 ГБ при примерно 456 ГБ/с

GPU выигрывают, потому что пьют из пожарного шланга.

Проигрывают, когда модель не влезает.

Apple: нормальная пропускная способность плюс объём в одной коробке

Вся история Apple звучит так:

не самые быстрые, но вполне рабочие

• Mac mini M4 → 120 ГБ/с

• MacBook Air M5 → 153 ГБ/с

• Mac mini M4 Pro → 273 ГБ/с

• MacBook Pro M5 Pro → 307 ГБ/с

• M5 Max → до 614 ГБ/с

• Mac Studio M3 Ultra → 819 ГБ/с и до 512 ГБ памяти

Последний пункт ключевой.

Apple выигрывает, когда:

• нужна одна коробка

• нужна тишина

• нужно безумное количество памяти

• не хочется дробить модель по нескольким GPU

Проигрывает, когда сырые токены в секунду и параллельная нагрузка важнее всего остального.

DGX Spark: когерентная память плюс CUDA, но не монстр по пропускной способности

DGX Spark и аналоги на GX10:

• 128 ГБ единой памяти

• 273 ГБ/с

• стек NVIDIA

Пропускная способность тут не впечатляет.

Впечатляют когерентная память и программный стек.

Это прибор для разработчика.

Не монстр сырой производительности. Поддержка NVFP4 даёт ему преимущество, но оно пока не раскрыто окончательно.

Strix Halo / Ryzen AI Max: первый серьёзный игрок на x86

Интересный зверь:

• 256-бит LPDDR5X

• до 128 ГБ памяти

• около 256 ГБ/с пропускной способности

• примерно 96 ГБ можно использовать как видеопамять

Именно здесь становится интересен Framework Desktop.

Ловушка AI PC

Большинство AI PC всё ещё задыхаются без пропускной способности.

• Snapdragon X Elite → 135 ГБ/с

• Intel Lunar Lake → 136 ГБ/с

• MacBook Air M5 → 153 ГБ/с

• Snapdragon X2 Elite → до примерно 228 ГБ/с

Нормально для:

• небольших моделей

• ассистентов

• периферийных задач

Не нормально для:

• песочниц с плотными моделями на 9B

• серьёзных мультиагентных нагрузок

• стресс-тестов с длинным контекстом

Физика по-прежнему работает.

Tenstorrent и неожиданные варианты

Tenstorrent:

• Wormhole n300 → 24 ГБ при 576 ГБ/с

• Blackhole p150 → 32 ГБ при 512 ГБ/с плюс межсоединение 800G

Полностью открытый стек. Жду, когда он дозреет, и надеюсь, что Tenstorrent станет сильным игроком в AI. Нам нужно больше полностью открытых стеков.

Это реальные варианты в зависимости от вашего стека и целей.

Почему большие коробки всё равно ощущаются медленными

Потому что влезло не значит обслуживает.

Даже если модель влезла, вы всё равно платите за:

• пропускную способность при декодировании

• рост KV-кэша

• деквантизацию

• батчинг и параллельную нагрузку

• качество планировщика

• накладные расходы фреймворка

Отсюда:

Запустилось значит демо. Обслуживает нагрузку значит системный дизайн.

Несколько GPU?

Больше GPU не значит линейный рост.

Теперь вы покупаете:

• межсоединение (PCIe, NVLink или RDMA)

• топологию

• накладные расходы синхронизации

• зрелость софта

Единственная схема, которая имеет значение

Не нужно держать в голове гигантскую таблицу.

Нужно только это:

1. Что обязано влезть?

2. Какой уровень пропускной способности мне нужен?

3. Какой программный стек реально это доставит?

Коротко и грубо:

• NVIDIA: максимальная сырая скорость

• Apple Ultra: максимум памяти в одной коробке

• Strix Halo: первый настоящий x86-вариант с единой памятью

• DGX Spark: когерентный прибор на NVIDIA

• AMD / Intel Arc: набирающие силу альтернативы

• Tenstorrent: полностью открытый стек

Как только это усваивается, вы перестаёте спрашивать, какое железо лучшее.

И начинаете спрашивать:

Какое узкое место я покупаю?

Вот настоящий вопрос.

До следующего раза.

Оригинал: https://x.com/TheAhmadOsman/status/2041331757329285589