Cerebras представляет 2-й PEAL Wafl Engine Engine: 850 000 ядер, 2,6 триллионов транзисторов

Церебра вернутся со вторым поколением его двигателя вафли. WSE 2.0 - К сожалению, название «сын вафельного масштаба», похоже, умер в комитете - это 7 нм усаживает оригинал, с гораздо больше сердечников, больше оперативной памяти и 2,6 трлн. Транзисторов, с «Т.». Заставляет 54 миллиарда в вашей средней NVIDIA A100 выглядеть немного пешеходным, для определенного значения «пешеход».

Концепция механизма для вафлима проста: вместо того, чтобы травить десятки или сотни фишек в пластину, а затем упаковывать эти процессоры или графические процессоры для индивидуальной перепродажи, почему бы не использовать всю пластину (или большую часть вафли, в этом случае) Для одного огромного процессора?

Люди попробовали этот трюк раньше, без успеха, но это было до того, как современные урожайности улучшились до точки, где строительство 850 000 ядер на куске кремния, размер разделочной доски был разумной идеей. В прошлом году церебрас WSE-1 поднял брови, предлагая 400 000 сердечников, 18 ГБ памяти на микросхем и 9PB / с пропускной способности памяти, с пропускной способностью 100PB / S ткани через пластину. Сегодня WSE-2 предлагает 850 000 сердечников, 40 ГБ на 1-е годы памяти SRAM и 20Pb / с полосы пропускания памяти на вафли. Общая пропускная способность ткани увеличилась до 220PB / с.

Хотя новый WSE-2, безусловно, больше, не так много знака, это отличается. Улучшения в верхней линии статистики все впечатляют, но приросты соразмерны через доску, что должно сказать: увеличение уровня 2.12x соответствует увеличению 2,2x RAM, увеличение уровня пропускания памяти 2,2x, Увеличение 2,2x в полосе пропускания ткани. Фактическое количество пропускной способности RAM, RAM или полосы пропускания ткани, оцениваемую на запятой основе, практически идентична двумя WSES.

Обычно, с таким дизайном второго поколения, подобное это, мы ожидали, что компания внесет некоторые изменения распределения ресурсов или масштабирование некоторых специфических аспектов дизайна, такого как регулировка соотношений между основными сочетаниями, пропускной способностью памяти и полной оперативной памяти. Тот факт, что Cerebras решил масштабировать WSE-1 вверх в WSE-2 без регулировки любого другого аспекта дизайна, подразумевает, что компания нацелена на ее исходное оборудование хорошо и смогла масштабировать его вверх, чтобы удовлетворить желания своей клиентской базы без ущерба. или изменение других аспектов архитектуры WSE.

Один из аргументов Cerebros в пользу собственных конструкций является простота масштабирования рабочей нагрузки через один WSE, а не пытаясь масштабировать через десятки или сотни графических процессоров, которые могут потребоваться соответствовать его производительности. Не понятно, насколько легко адаптировано рабочие нагрузки в WSE-1 или WSE-2, и, похоже, нет много независимых ориентиров, которые еще не доступны, чтобы сравнить масштабирование между WSE-1 или WSE-2 и эквивалентные карты NVIDIA. Мы ожидаем, что WSE-2 имеем преимущество в масштабе масштабирования, предполагая, что соответствующая рабочая нагрузка соответствует характеристикам обеих систем, из-за внутренней труднодоступности разделительной рабочей нагрузки эффективно по всему большему количеству карт ускорителя.

Cerebros, похоже, не имеет публично опубликованных каких-либо тестов WSE-1 или WSE-2, сравнивающих его с другими системами, поэтому мы все еще находимся в удерживающем рисунке, насколько так далеко. Однако движение от WSE-1 к WSE-2 это быстро, однако, подразумевает некоторые интересы клиентов к чипу.

Читать далее

Cerebras Systems представляет 1,2 трлн транзисторный процессор в масшт

Компания Cerebras Systems создала чудеса обработки AI. В новом процессоре компании, работающем в пластинчатом корпусе, установлены транзисторы 1,2Т - да, с буквой «Т» - и 400 000 процессорных ядер.