MIT разрабатывает алгоритм ускорения нейронных сетей в 200 раз
Нейронные сети стали горячей темой в последнее время, но оценка наиболее эффективного способа его создания для обработки данного стека данных все еще остается трудной задачей. Проектирование систем, которые могут использовать алгоритмы для построения самого оптимального способа, все еще находится в зарождающейся области, но исследователи MIT по сообщениям разработали алгоритм, который может ускорить процесс до 200 раз.
Разработанный ими алгоритм NAS (Neural Architecture Search, в данном контексте) «может напрямую изучать специализированные сверточные нейронные сети (CNN) для целевых аппаратных платформ - при работе на массиве массивов изображений - всего за 200 часов GPU», сообщает MIT News. Это значительное улучшение по сравнению с 48 000 часов, которые, по сообщениям Google, потребовалось для разработки современного алгоритма NAS для классификации изображений. Цель исследователей состоит в том, чтобы демократизировать ИИ, позволяя исследователям экспериментировать с различными аспектами проектирования CNN, не требуя огромных массивов графических процессоров для выполнения внешней работы. Если для поиска современных подходов требуется 48 000 графических процессоров, у очень немногих, даже в крупных учреждениях, будет возможность попробовать.
Алгоритмы, разработанные новым NAS, были в среднем в 1,8 раза быстрее, чем CNN, протестированные на мобильном устройстве с аналогичной точностью. В новом алгоритме использовались такие методы, как бинаризация на уровне пути, в которой за один раз сохраняется только один путь, что позволяет сократить потребление памяти на порядок. MIT на самом деле не ссылается на конкретные исследовательские отчеты, но из-за небольшого спада Google, статьи, на которые есть ссылки, оказываются здесь и здесь - два разных исследовательских отчета от перекрывающейся группы исследователей. Команды сосредоточились на сокращении целых потенциальных путей для использования CNN, оценивая каждый по очереди. Пути с более низкой вероятностью последовательно удаляются, оставляя окончательный путь в лучшем случае.
Новая модель включает в себя и другие улучшения. При оценке архитектура проверялась на соответствие аппаратным платформам на предмет задержки. В некоторых случаях их модель предсказывала превосходную производительность для платформ, которые были отклонены как неэффективные. Например, фильтры 7 × 7 для классификации изображений, как правило, не используются, потому что они достаточно дороги в вычислительном отношении, но исследовательская группа обнаружила, что они действительно хорошо работают для графических процессоров.
«Это противоречит предыдущему человеческому мышлению», - сказал один из ученых Хан Кай. «Чем больше пространство поиска, тем больше неизвестных вещей вы можете найти. Вы не знаете, будет ли что-то лучше, чем прошлый человеческий опыт. Пусть ИИ это выяснит.
Эти усилия по улучшению производительности и возможностей ИИ все еще находятся на стадии, когда возможны огромные улучшения. Как мы недавно обсуждали, со временем поле будет ограничено теми же открытиями, которые будут продвигать его вперед. Ускорители и процессоры искусственного интеллекта предлагают огромные преимущества в краткосрочной перспективе, но они не являются фундаментальной заменой масштабирования, исторически сложившегося благодаря продвижению закона Мура.
Читать далее
Amazon скопировал продукты продавцов, манипулированные алгоритмы для отображения своих собственных верси
Они говорят, что имитация - самая высокая форма лести, но для бизнеса, которые продают на Amazon, это может быть разница между успехом и разрушением.
Внутренние исследования Twitter подтверждают свой алгоритм благоприятных голосов
В последние годы консервативные политики и активисты режерели против «отменить культуру», утверждая, что в Твиттере и других социальных сетях были предложены против них - следовательно, существование правых альтернативных альтернатив, таких как Габ, Парлер и Новая правда Трамна. Twitter только что опубликовал некоторые внутренние исследования, которые предполагают обратное. Согласно статье, его алгоритм фактически поддерживает правые голоса.
Последнее обновление iOS использует алгоритмы обнаруживающих наготавшихся в детской версии Messenger
Функция выкатилась на iPhone и iPad с iOS 15.2, которая стала доступна в понедельник.
Мета обосновывается с Министерством юстиции по поводу дискриминационных алгоритмов AD
В новом судебном процессе утверждается, что маркетинговые инструменты Meta позволили и поощряли рекламодателей нацелены на жилищные объявления на основе демографических характеристик, что запрещено Законом о справедливом жилье.