MIT розробляє алгоритм прискорення нейронних мереж на 200x
Нейронні мережі були актуальною темою останніх років, але оцінка найбільш ефективного способу побудови такої для обробки даного стосу даних все ще є важкою справою. Проектування систем, які можуть використовувати алгоритми для побудови самих оптимальних способів, все ще є зароджуваним полем, але дослідники MIT розробили алгоритм, який може прискорити процес до 200x.
Розроблений ними NAS (пошук нейронної архітектури в цьому контексті) "може безпосередньо вивчати спеціалізовані нейромережі (CNNs) для цільових апаратних платформ - при роботі на масивному наборі зображень - всього за 200 годин GPU", повідомляє MIT News. Це серйозне поліпшення за 48 тисяч годин, про які Google повідомила, що розробляє найсучасніші алгоритми NAS для класифікації зображень. Мета дослідників - демократизувати AI, дозволяючи дослідникам експериментувати з різними аспектами дизайну CNN, не потребуючи величезних масивів GPU для роботи з інтерфейсом. Якщо пошук сучасних підходів вимагає 48 000 масивів графічних процесорів, то мало хто, навіть у великих установах, матиме можливість спробувати.
Алгоритми, створені новим NAS, в середньому були в 1,8 рази швидше, ніж CNN, перевірені на мобільному пристрої з подібною точністю. Новий алгоритм використовував такі методики, як бінаризація на рівні шляху, яка зберігає лише один шлях на час, щоб зменшити споживання пам'яті на порядок. MIT насправді не пов'язується з конкретними дослідницькими звітами, але з деякими результатами Google, згадані статті здаються тут і тут - двома різними дослідницькими звітами групи дослідників, що перекриваються. Команди зосередилися на обрізанні всіх потенційних шляхів для використання CNN, оцінюючи кожного по черзі. Нижчі шляхи ймовірності послідовно скорочуються, залишаючи кінцевий шлях найкращого випадку.
Нова модель також включила інші поліпшення. Архітектури перевірялися на апаратні платформи для затримки при оцінці. У деяких випадках їхня модель передбачала високу продуктивність для платформ, які були відхилені як неефективні. Наприклад, 7 × 7 фільтрів для класифікації зображень, як правило, не використовуються, тому що вони досить обчислювально дорогі - але дослідницька група виявила, що вони дійсно добре працювали для GPU.
"Це суперечить попередньому людському мисленню", - повідомив MIT News. «Чим більше простір пошуку, тим більше невідомих речей можна знайти. Ви не знаєте, чи буде щось краще, ніж минулий людський досвід. Нехай AI це зрозуміє. "
Ці зусилля, спрямовані на підвищення продуктивності та можливостей ІІ, все ще знаходяться на етапі, де можливі величезні покращення. Як ми недавно обговорювали, з часом поле буде обмежене тими самими відкриттями, які ведуть його вперед. Прискорювачі та процесори інтелектуальної власності надають величезні переваги в короткостроковій перспективі, але вони не є фундаментальною заміною для масштабування, яке історично надає просування закону Мура.
Читати далі
Вчені розробляють назальний спрей, який може вивести з ладу коронавірус
У нещодавно випущеному дослідженні, задум був ефективним для дезактивації нового коронавірусу, перш ніж він міг заразити клітини.
Новий MIT AI самостійно розробляє роботів
Команда вважає, що RoboGrammar може направити дослідників на нові напрямки, що призведе до більш ефективних та винахідливих конструкцій.
Вчені розробляють новий спосіб лікування найпотужнішого токсину у світі
Дві різні групи розробили новий спосіб лікування ботулізму, який може ефективніше очистити небезпечний токсин від клітин і тканин, і він спирається на модифіковану версію самого токсину. Однак це нічого не зробить для ваших воронячих ніг.
10-нм процесор Sapphire Rapids від Intel розроблений, сфотографований
Intel Sapphire Rapids був помічений у дикій природі. Схоже, Intel з’єднає чіп трохи інакше, ніж AMD, принаймні на даний момент.