MIT Neural Network Processor снижает потребление энергии на 95 процентов
В наши дни работа с нейронной сетью и рабочими нагрузками на ИИ являются одновременно горячими темами, побуждая несколько компаний объявить о своих собственных проектах на основе кремния или подключить их собственное оборудование в качестве топового решения для этих рабочих нагрузок. Но одна проблема с нейронными сетями заключается в том, что они имеют тенденцию быть чрезвычайно энергоемкими и не обязательно подходят для мобильных устройств или маломощных «умных» динамиков, которые в последнее время стали настолько популярными.
MIT утверждает, что разработал процессор нейронной сети, который решает эти проблемы, при общем снижении мощности до 95 процентов. Если это правда, это может изменить игру для таких приложений. Вместо того, чтобы вынуждать полагаться на облачную связь для управления ИИ (и с использованием мощности, чтобы поддерживать модем активным), SoCs может включать эти процессоры и выполнять локальные вычисления.
«Общая процессорная модель заключается в том, что в какой-то части чипа есть память, а в другой части чипа есть процессор, и вы перемещаете данные между ними, когда делаете эти вычисления», - сказал Авишек Бисвас , аспирант Массачусетского технологического института по электротехнике и информатике, который возглавил разработку нового чипа:
Поскольку эти алгоритмы машинного обучения нуждаются в таком количестве вычислений, эта передача данных вперед и назад является доминирующей частью потребления энергии. Но вычисление этих алгоритмов может быть упрощено до одной конкретной операции, называемой точечным продуктом. Наш подход заключался в том, можем ли мы реализовать эту функциональность для работы с точками в памяти, чтобы вам не нужно было передавать эти данные взад и вперед?
Типичная нейронная сеть организована в слои. Каждый узел подключается к другим узлам выше и ниже него, и каждое соединение между узлами имеет собственный вес. Вес в этом контексте относится к тому, сколько вычислений воздействия, выполняемых в одном узле, будет иметь на вычислениях, выполняемых в узлах, к которым он подключается. Узлы, принимающие вход от нескольких узлов над ним, умножают входы, которые они получают на вес каждого входа. Результат называется точечным произведением. Если точечный продукт выше определенного порога, он отправляется вдоль узлов дальше по цепочке. Но этот процесс чрезвычайно интенсивен для памяти, при каждом вычислении точечного продукта, требующем доступа к памяти для получения взвешенных значений. Затем эти значения должны быть сохранены, и каждый вход на узел должен быть независимо рассчитан.
Что MIT сделал, это создать чип, который более точно имитирует человеческий мозг. Входные значения преобразуются в электрические напряжения, а затем умножаются на соответствующие веса. Только комбинированные напряжения преобразуются обратно в цифровое представление и сохраняются для обработки. Микросхема прототипа может одновременно вычислять 16 точечных продуктов. Сохраняя все его веса как 1 или -1, система может быть реализована как простой набор переключателей, а только потеряет 2-3 процента точности по сравнению с гораздо более дорогими нейронными сетями.
Неплохо для подхода, который может снизить потребление энергии до 95 процентов. И это многообещающая концепция для будущего, в котором преимущества облака и ИИ не ограничиваются преимуществами надежного интернет-сервиса на мобильном устройстве или дома.
Лучший кредитный рейтинг: Челси Тернер / MIT
Читать далее
Space Mining получает 400-процентный прирост за счет бактерий, показывают эксперименты на МКС
Нам понадобится много сырья, чтобы поддерживать человеческие усилия на других планетах, и новый проект на Международной космической станции демонстрирует, как мы можем сделать космическую добычу более эффективной более чем на 400 процентов.
База игроков ПК Cyberpunk 2077 уменьшилась на 79 процентов с момента запуска
В последней игре CD Projekt Red наблюдается резкий спад игроков - круче, чем обычно для игры такого размера, - но это, вероятно, не проблема для названия в долгосрочной перспективе.
Спрос на чипы превышает предложение на 30 процентов, дефицит может продлиться год
Похоже, что эти прогнозы о сокращении дефицита в полупроводниковой промышленности в конце первого квартала могли быть немного оптимистичными.
RTX 3060 от Nvidia дает прирост FPS на 10 процентов
Nvidia предоставляет поддержку Resizable BAR остальной части семейства RTX после того, как представила ее с RTX 3060 на прошлой неделе. Ожидайте увеличения производительности до 10 процентов.