Blackwell B200 в 4 раза мощнее Hopper H100 и при этом потребляет на 75 % меньше энергии во время тренировки нейросетей.
Вчера NVIDIA провела большую презентацию GTC 2024, в рамках которой рассказала о новой архитектуре Blackwell и представила самый мощный чип для ускорения обучения ИИ — Blackwell B200. Компания даже похвалилась тем, что крупные клиенты, такие как Amazon, Microsoft и Google, уже «выстроились очереди» за новым GPU.
Как и в случае с прошлым поколением, Blackwell B200 производит компания TSMC на улучшенном 4-нанометровом техпроцессе 4NP. Уменьшения техпроцесса не произошло, так что компания пошла по пути увеличения площади кристалла. В результате количество транзисторов выросло с 80 млрд до 104 млрд. Однако и на этом NVIDIA не остановилась. Полный чип Blackwell B200 состоит из двух базовых GPU, соединенных магистральной линией с пропускной способностью в 10 ТБ/c. То есть, совокупно чип состоит из 208 млрд транзисторов. Вокруг GPU расположено 8 чипов памяти HBM3e суммарной емкостью 192 ГБ. Пропускная способность памяти достигает рекордных 8 ТБ/c.
Для облегчения создания высокопроизводительных систем NVIDIA продумала очень гибкую в плане масштабируемости архитектуру. Компания разработала решение GB200, объединив на одной плате два чипа Blackwell B200 с CPU Grace. Каждая такая плата предлагает 40 петафлопс производительности в вычислениях AI. GB200 также поддерживает объединение в стеки и серверные стойки GB200 NVL72. Далее из стоек собираются целые дата-центры, производительность которых может быть ограничена только бюджетом, ведь даже базовый чип B200 стоит десятки тысяч долларов, не говоря о целых стойках.
Производительность систем GB200 в обучении искусственного интеллекта поражает воображение. Если предыдущему поколению в лице Hopper H100 требовалось 90 дней, 15 мегаватт мощности и 8000 GPU для обучения нейросети GPT-MoE с 1,8 трлн параметров, то в случае с Blackwell B200 на ту же задачу с тем же суммарным временем обучения потребуется всего 2000 систем GB200 и 4 мегаватта мощности. Грубо говоря, NVIDIA добилась увеличения мощности систем в 4 раза при росте эффективности в 75 %.
Чего ждать от Blackwell B200? Если чип Hopper H100 стал буквально революцией на рынке ускорителей ИИ, не без помощи которого за прошедшие два года системы искусственного интеллекта сделали огромный шаг вперед, то с Blackwell B200 можно ждать еще более быстрого экспоненциального роста. Системы ИИ будут обучаться быстрее, а стоимость этого самого обучения будет снижаться ввиду более экономного потребления энергии. Словом, ИИ станет «умнее», вырастут его возможности и сферы применения, а также существенно увеличится доступность систем искусственного интеллекта как для бизнеса, так и для простых пользователей.
Читайте далее: Dyson представила фен Supersonic Nural — с ним невозможно перегреть кожу и волосы
