Как волна Макимото объясняет цунами специализированных процессоров искусственного интеллекта, возглавляемых для рынка
В полупроводниковой технологии существуют определенные термины искусства, которые стали обычными пробными камнями. Закон Мура, масштабирование Деннарда и такие понятия, как «стена памяти», относятся к давно устоявшимся тенденциям в технологии, которые часто всплывают во многих различных областях знаний. В этом ключе есть концепция, которую мы собираемся обсудить сегодня, с которой некоторые из вас могут быть знакомы, но которую мы ранее не освещали здесь, на ET: волна Макимото. Хотя это не относится ко времени оригинальной статьи Гордона Мура, аргумент Макимото имеет прямое отношение к быстро растущему рынку ИИ и устройств машинного обучения.
Волна Макимото, впервые представленная в 1991 году, является способом описания того факта, что рынок полупроводников часто колеблется между специализацией и стандартизацией. Эти циклы часто происходили примерно с 10-летними интервалами, хотя в более широком пространстве существовали разногласия относительно того, были ли циклы 1997–2007 и 2007–2017 годов достаточно сильными для квалификации.
Теория не оспаривается для более ранних циклов, как бы то ни было. С 1957 по 1967 г. на рынке доминировали стандартизованные дискретные компоненты, за которыми следовали специальные крупномасштабные интеграционные микросхемы, которые уступили место первым стандартизированным микропроцессорам и технологиям памяти.
Не ясно, что классическая волна Макимото, как показано выше, четко соответствует текущему толчку в AI и ML. Он прогнозирует, что рынок должен двигаться в направлении стандартизации, начиная с 2017 года, когда на самом деле мы видим огромный толчок со стороны широкого круга компаний в создании собственных пользовательских ускорительных архитектур для специализированных рабочих нагрузок AI и ML. Поскольку все, от Fujitsu и Google до Nvidia и AMD, бросают на ринг шляпу с пресловутыми высказываниями, маятник, похоже, движется дальше к настройке, а не к середине стандартизации.
Но для общепризнанной теории, которая объясняет некоторые аспекты развития полупроводников, нередко не удается полностью отобразить их в реальной жизни. Закон Мура в своем первоначальном воплощении предсказывал удвоение числа транзисторов каждый год. В 1975 году Гордон Мур пересматривал свой прогноз каждые два года. Фактическая скорость, с которой количество транзисторов в продуктах отгрузки удвоилось, всегда несколько варьировалась в зависимости от трудностей перехода узлов литейного производства, рыночных условий, а также успеха или неудачи команд разработчиков ЦП. Даже масштабирование закона Мура в последние годы замедлилось, хотя улучшения плотности еще не остановились. После того, как масштабирование Деннарда прекратилось в 2004 году, масштабирование плотности стало единственной метрикой, продолжающей следовать какому-либо старому историческому пути.
И с учетом того, как сильно изменилось масштабирование ЦП общего назначения между предыдущими эпохами и сегодняшним днем, мы должны учитывать тот факт, что маятник может качаться не так, как раньше. Приведенное ниже видео, рассказанное Макимото, не является новым - оно было опубликовано в 2013 году - но оно предлагает дополнительное объяснение концепции всем, кто заинтересован.
Новая статья в SemiEngineering подробно рассказывает о стремлении фирм, работающих над специализированными архитектурами ускорителей, и о том, почему эта область бурлит. Столкнувшись с отсутствием прогресса в вычислениях общего назначения, компании обратили свое внимание на ускорители в надежде найти рабочие нагрузки и ядра, которые хорошо соотносятся друг с другом. Таким образом, может показаться, что маятник постоянно отклоняется от вычислений общего назначения.
Но это практически невозможно в долгосрочной перспективе. Хотя ничто не мешает фирме разработать специализированную архитектуру для обработки хорошо известных рабочих нагрузок, не каждая рабочая нагрузка может быть описана таким образом. Как сказал SemiEngineering Крис Джонс, вице-президент по маркетингу в Codasip: «Всегда будут случаи, когда программное обеспечение, которое будет работать на данном чипе, в значительной степени неизвестно, и если загрузка программного обеспечения не определена, все, что может сделать разработчик чипа, это обеспечить надежную общую вычислительную платформу, где производительность зависит только от частоты ядра и задержки памяти ».
Другими словами, вы не можете просто создать массив аппаратных ускорителей для каждой рабочей нагрузки. Универсальные вычисления остаются критически важными для процесса. Пользовательские реализации работы также становятся стандартизированными с течением времени, так как компании обращают внимание на оптимальные реализации для обработки определенных видов работ.
Существует некоторое значительное совпадение между поведением волны Макимото и надвигающейся стенкой ускорителя, о которой мы говорили ранее на этой неделе. Бумага на ускорителе демонстрирует, что мы не можем полагаться на ускорительные решения, чтобы обеспечить бесконечное улучшение производительности при отсутствии возможности улучшить основные аспекты производительности транзистора с помощью закона Мура. Волна Макимото описывает широкую отраслевую тенденцию колебаться между ними. Недавний поток венчурных денег на рынки искусственного интеллекта и машинного обучения привел к определенному шумихе вокруг этих возможностей. ИИ и машинное обучение действительно могут революционизировать компьютерные технологии в ближайшие годы, но новую тенденцию к использованию ускорителей для этих рабочих нагрузок следует понимать в контексте ограничений этого подхода.
Читать далее
Объявления о вакансиях для искусственного интеллекта скоро могут выглядеть так. Вы готовы?
Наше недавнее прошлое показало нам, что мы можем разработать такой тип машин, который вскоре откроет целую новую область прибыльной и полноценной работы.
Человеческая сторона искусственного интеллекта
Улучшение результатов обучения машине не просто вопрос улучшения вычислительной спектакли AI.
Deeplind's Psychlab Heralds Рассвет искусственного общего интеллекта
Инструментарий для оценки искусственного интеллекта с теми же психологическими тестами, которые мы используем для оценки человеческих когнитивных способностей, является доказательством скорости головокружительности, с которой развивается ИИ.
OpenAI запускает нейронную MMO для обучения искусственного интеллекта в сложных условиях открытого мира
OpenAI выпустил Neural MMO, новый способ для вашего помощника по искусственному интеллекту тратить столько же времени на игры, сколько и вы. Хорошо, не так много. Это способ научить их проводить в играх столько же времени, сколько и вы.