MIT разрабатывает алгоритм ускорения нейронных сетей в 200 раз
Нейронные сети стали горячей темой в последнее время, но оценка наиболее эффективного способа его создания для обработки данного стека данных все еще остается трудной задачей. Проектирование систем, которые могут использовать алгоритмы для построения самого оптимального способа, все еще находится в зарождающейся области, но исследователи MIT по сообщениям разработали алгоритм, который может ускорить процесс до 200 раз.
Разработанный ими алгоритм NAS (Neural Architecture Search, в данном контексте) «может напрямую изучать специализированные сверточные нейронные сети (CNN) для целевых аппаратных платформ - при работе на массиве массивов изображений - всего за 200 часов GPU», сообщает MIT News. Это значительное улучшение по сравнению с 48 000 часов, которые, по сообщениям Google, потребовалось для разработки современного алгоритма NAS для классификации изображений. Цель исследователей состоит в том, чтобы демократизировать ИИ, позволяя исследователям экспериментировать с различными аспектами проектирования CNN, не требуя огромных массивов графических процессоров для выполнения внешней работы. Если для поиска современных подходов требуется 48 000 графических процессоров, у очень немногих, даже в крупных учреждениях, будет возможность попробовать.
Алгоритмы, разработанные новым NAS, были в среднем в 1,8 раза быстрее, чем CNN, протестированные на мобильном устройстве с аналогичной точностью. В новом алгоритме использовались такие методы, как бинаризация на уровне пути, в которой за один раз сохраняется только один путь, что позволяет сократить потребление памяти на порядок. MIT на самом деле не ссылается на конкретные исследовательские отчеты, но из-за небольшого спада Google, статьи, на которые есть ссылки, оказываются здесь и здесь - два разных исследовательских отчета от перекрывающейся группы исследователей. Команды сосредоточились на сокращении целых потенциальных путей для использования CNN, оценивая каждый по очереди. Пути с более низкой вероятностью последовательно удаляются, оставляя окончательный путь в лучшем случае.
Новая модель включает в себя и другие улучшения. При оценке архитектура проверялась на соответствие аппаратным платформам на предмет задержки. В некоторых случаях их модель предсказывала превосходную производительность для платформ, которые были отклонены как неэффективные. Например, фильтры 7 × 7 для классификации изображений, как правило, не используются, потому что они достаточно дороги в вычислительном отношении, но исследовательская группа обнаружила, что они действительно хорошо работают для графических процессоров.
«Это противоречит предыдущему человеческому мышлению», - сказал один из ученых Хан Кай. «Чем больше пространство поиска, тем больше неизвестных вещей вы можете найти. Вы не знаете, будет ли что-то лучше, чем прошлый человеческий опыт. Пусть ИИ это выяснит.
Эти усилия по улучшению производительности и возможностей ИИ все еще находятся на стадии, когда возможны огромные улучшения. Как мы недавно обсуждали, со временем поле будет ограничено теми же открытиями, которые будут продвигать его вперед. Ускорители и процессоры искусственного интеллекта предлагают огромные преимущества в краткосрочной перспективе, но они не являются фундаментальной заменой масштабирования, исторически сложившегося благодаря продвижению закона Мура.
Читать далее
IBM обещает в 2021 году ускорение квантовых вычислений в 100 раз
Intel планирует в этом году ускорить квантовые рабочие нагрузки до 100 раз благодаря новым программным инструментам и улучшенной поддержке классических и квантовых рабочих нагрузок.
Отчет: ускорение потребительского SSD ускоряется
SSD теперь выходит на корабль жестких дисков в потребительских системах по широкому запаю. Диски NVME доступны на даже самых дешевых компьютерах.
AMD, чтобы взять на себя XMP Intel с Ryzen ускоренные профили памяти на AM5
Кажется, производитель HWINFO просочился довольно большой раскрытием для платформы Next-Gen AMD.
Mercedes взимает 1200 долл. США в год за «увеличение ускорения».
Пакет увеличения ускорения представляет собой шаг Mercedes в противоречивую практику: взимать с клиентов на основе подписки на функции, которые уже обладают их автомобилями.