MIT разрабатывает алгоритм ускорения нейронных сетей в 200 раз
Нейронные сети стали горячей темой в последнее время, но оценка наиболее эффективного способа его создания для обработки данного стека данных все еще остается трудной задачей. Проектирование систем, которые могут использовать алгоритмы для построения самого оптимального способа, все еще находится в зарождающейся области, но исследователи MIT по сообщениям разработали алгоритм, который может ускорить процесс до 200 раз.
Разработанный ими алгоритм NAS (Neural Architecture Search, в данном контексте) «может напрямую изучать специализированные сверточные нейронные сети (CNN) для целевых аппаратных платформ - при работе на массиве массивов изображений - всего за 200 часов GPU», сообщает MIT News. Это значительное улучшение по сравнению с 48 000 часов, которые, по сообщениям Google, потребовалось для разработки современного алгоритма NAS для классификации изображений. Цель исследователей состоит в том, чтобы демократизировать ИИ, позволяя исследователям экспериментировать с различными аспектами проектирования CNN, не требуя огромных массивов графических процессоров для выполнения внешней работы. Если для поиска современных подходов требуется 48 000 графических процессоров, у очень немногих, даже в крупных учреждениях, будет возможность попробовать.
Алгоритмы, разработанные новым NAS, были в среднем в 1,8 раза быстрее, чем CNN, протестированные на мобильном устройстве с аналогичной точностью. В новом алгоритме использовались такие методы, как бинаризация на уровне пути, в которой за один раз сохраняется только один путь, что позволяет сократить потребление памяти на порядок. MIT на самом деле не ссылается на конкретные исследовательские отчеты, но из-за небольшого спада Google, статьи, на которые есть ссылки, оказываются здесь и здесь - два разных исследовательских отчета от перекрывающейся группы исследователей. Команды сосредоточились на сокращении целых потенциальных путей для использования CNN, оценивая каждый по очереди. Пути с более низкой вероятностью последовательно удаляются, оставляя окончательный путь в лучшем случае.
Новая модель включает в себя и другие улучшения. При оценке архитектура проверялась на соответствие аппаратным платформам на предмет задержки. В некоторых случаях их модель предсказывала превосходную производительность для платформ, которые были отклонены как неэффективные. Например, фильтры 7 × 7 для классификации изображений, как правило, не используются, потому что они достаточно дороги в вычислительном отношении, но исследовательская группа обнаружила, что они действительно хорошо работают для графических процессоров.
«Это противоречит предыдущему человеческому мышлению», - сказал один из ученых Хан Кай. «Чем больше пространство поиска, тем больше неизвестных вещей вы можете найти. Вы не знаете, будет ли что-то лучше, чем прошлый человеческий опыт. Пусть ИИ это выяснит.
Эти усилия по улучшению производительности и возможностей ИИ все еще находятся на стадии, когда возможны огромные улучшения. Как мы недавно обсуждали, со временем поле будет ограничено теми же открытиями, которые будут продвигать его вперед. Ускорители и процессоры искусственного интеллекта предлагают огромные преимущества в краткосрочной перспективе, но они не являются фундаментальной заменой масштабирования, исторически сложившегося благодаря продвижению закона Мура.
Читать далее
Wfoojjaec объясняет: Что такое нейронная сеть?
Мы много говорим о AI, обучении машин и нервных сетях, но в чем в первую очередь нетронута?
Wfoojjaec объясняет: Что такое нейронная сетка?
Мы много говорим о AI, машинном обучении и нейронных сетях, но в чем в первую очередь нейронная сетка?
Люди используют нейронную сеть приложение для создания Поддельных знаменитостей порно
Машинное обучение стало настолько продвинутым, что несколько разработчиков создали инструмент под названием FakeApp, который может создавать убедительные видеоролики «подмены лица». И, конечно, они используют его, чтобы сделать порно.
IBM стремится снизить энергопотребление для обучения нейронной сети 100x
Пользовательский кремний для ускорения вывода AI здесь, но IBM хочет идти дальше и использовать гибридную вычислительную архитектуру и элементы резистивных вычислений, чтобы также повысить эффективность обучения нейронных сетей.