Новая стратегия памяти для ИИ? Что предложила SanDisk
SanDisk объявила о разработке подхода, который позволит обеспечить ИИ-чипы огромными объёмами оперативной памяти без использования привычной технологии HBM.
Вместо дорогостоящих и сложных стэков HBM компания предлагает архитектуру, в которой быстрые блоки памяти размещаются рядом с процессорными кристаллами и объединяются в единую систему с высокой пропускной способностью. Это решение обещает заменить ограниченные по объёму и дорогостоящие HBM-модули на более масштабируемую и экономичную альтернативу.
Главная идея - не просто добавить больше DRAM, а переосмыслить, как память физически подключается к вычислительным элементам.
SanDisk акцентирует внимание на использовании существующих интерфейсов и инновационных контроллеров, которые обеспечивают низкую задержку и высокую пропускную способность при больших объёмах хранилища.
Такой подход может существенно расширить доступную память для моделей глубокого обучения и других задач ИИ.
Почему HBM уже не всегда оптимальна
HBM (High Bandwidth Memory) давно считается золотым стандартом для ускорителей: она обеспечивает невероятную пропускную способность и низкие задержки. Однако у HBM есть серьёзные ограничения - сложность упаковки, высокая стоимость, ограниченный объём на модуль и трудности с масштабированием.
При росте требований моделей ИИ увеличение объёма памяти с помощью HBM становится всё более дорогим и технически непростым. По мере того как модели растут до сотен миллиардов параметров и требуют терабайты оперативной памяти, производители сталкиваются с физическими границами и экономическими барьерами.
SanDisk считает, что будущее - за архитектурами, которые допускают гибкое расширение памяти без радикальной перестройки печатных плат и дорогих технологий сборки.
Как устроено решение SanDisk
Предложение SanDisk базируется на идее распределённой быстрой памяти, расположенной близко к вычислительным кристаллам, но не в формате HBM-стека. Компания использует плотные, но отдельные модули памяти, соединённые высокоскоростными шинами и управляемые интеллектуальными контроллерами. Эти контроллеры оптимизируют доступы, минимизируют задержки и поддерживают параллельную работу множества каналов.
Ключевую роль играют интерфейсы и протоколы передачи данных: SanDisk ориентируется на адаптацию существующих стандартов и их модернизацию для обеспечения высокой производительности при больших объёмах.
Такая архитектура позволяет добавлять новые модули памяти по мере необходимости, расширяя общий объём до терабайтов без необходимости использования дорогостоящих HBM-решений.
Преимущества и потенциальные ограничения
Основные выгоды очевидны: снижение стоимости системы, более простая масштабируемость и гибкость конфигураций. Переход к модульной памяти избавляет от необходимости плотной интеграции HBM, облегчая ремонтопригодность и обновление оборудования.
Для дата-центров и производителей ускорителей это может означать снижение TCO и ускоренное развёртывание мощных ИИ-серверов. Тем не менее такой подход может иметь ограничения: добиться той же ультранизкой задержки и энергоэффективности, что у HBM, будет непросто.
Многое зависит от реализации контроллеров и архитектуры шины.
Кроме того, программное обеспечение и стек памяти должны адаптироваться к новому поведению памяти, чтобы не терять в производительности при переходе на большую, но потенциально более латентную память.
Возможное влияние на рынок и экосистему ИИ
Если предложение SanDisk подтвердит ожидания по цене и производительности, это может существенно изменить рынок ускорителей. Производители серверов и чипов получат гибкую альтернативу HBM, что откроет путь к массовому использованию терабайтной оперативной памяти в задачах обучения и инференса.
Особенно выиграют приложения, которые требуют больших объёмов данных в оперативной памяти - большие языковые модели, рекомендательные системы и сложные графовые вычисления.
Снижение стоимости памяти также сделает более доступными ИИ-решения для компаний среднего размера, уменьшив барьер входа в масштабные вычислительные проекты.
Платформы для обучения моделей могут пересмотреть архитектуру кластеров, сократив потребность в дорогом специализированном оборудовании.
Что необходимо проверять в реальных условиях
Ключевые моменты проверки - удельная пропускная способность на канал, латентность в реальных рабочих нагрузках и энергопотребление при пиковых нагрузках.
Важны также сценарии отказоустойчивости и возможности для горячего добавления или замены модулей без остановки систем.
Поставщикам ПО придётся убедиться, что их стек эффективно распределяет данные между локальной кэш-памятью и новыми модулями, сохраняя общую производительность. Безполезны будут чисто лабораторные тесты; требуется оценка на продакшн-рабочих нагрузках, чтобы понять, как система поведёт себя при реальных тренировках моделей и в задачах инференса.
Поддержка со стороны крупных вендоров чипов и интеграторов также сыграет роль в массовом принятии технологии.
Перспективы и выводы
Проект SanDisk выглядит как прагматичная попытка решить проблему растущей потребности ИИ в памяти без опоры на дорогостоящую HBM-технологию. Если технические и программные вызовы удастся преодолеть, рынок может получить более дешёвую и гибкую опцию для масштабирования памяти до терабайтов.
Это, в свою очередь, ускорит развитие приложений, требующих больших объёмов аккумулируемых данных.
Но важно помнить: успех зависит от ряда факторов - производительности контроллеров, адаптации стека ПО и готовности индустрии поддержать новый стандарт.
В ближайшие месяцы и годы мы увидим, насколько далеко SanDisk сможет продвинуть эту концепцию и какую долю рынка займёт её решение в мире высокопроизводительных ИИ-систем.