MIT розробляє алгоритм прискорення нейронних мереж на 200x
Нейронні мережі були актуальною темою останніх років, але оцінка найбільш ефективного способу побудови такої для обробки даного стосу даних все ще є важкою справою. Проектування систем, які можуть використовувати алгоритми для побудови самих оптимальних способів, все ще є зароджуваним полем, але дослідники MIT розробили алгоритм, який може прискорити процес до 200x.
Розроблений ними NAS (пошук нейронної архітектури в цьому контексті) "може безпосередньо вивчати спеціалізовані нейромережі (CNNs) для цільових апаратних платформ - при роботі на масивному наборі зображень - всього за 200 годин GPU", повідомляє MIT News. Це серйозне поліпшення за 48 тисяч годин, про які Google повідомила, що розробляє найсучасніші алгоритми NAS для класифікації зображень. Мета дослідників - демократизувати AI, дозволяючи дослідникам експериментувати з різними аспектами дизайну CNN, не потребуючи величезних масивів GPU для роботи з інтерфейсом. Якщо пошук сучасних підходів вимагає 48 000 масивів графічних процесорів, то мало хто, навіть у великих установах, матиме можливість спробувати.
Алгоритми, створені новим NAS, в середньому були в 1,8 рази швидше, ніж CNN, перевірені на мобільному пристрої з подібною точністю. Новий алгоритм використовував такі методики, як бінаризація на рівні шляху, яка зберігає лише один шлях на час, щоб зменшити споживання пам'яті на порядок. MIT насправді не пов'язується з конкретними дослідницькими звітами, але з деякими результатами Google, згадані статті здаються тут і тут - двома різними дослідницькими звітами групи дослідників, що перекриваються. Команди зосередилися на обрізанні всіх потенційних шляхів для використання CNN, оцінюючи кожного по черзі. Нижчі шляхи ймовірності послідовно скорочуються, залишаючи кінцевий шлях найкращого випадку.
Нова модель також включила інші поліпшення. Архітектури перевірялися на апаратні платформи для затримки при оцінці. У деяких випадках їхня модель передбачала високу продуктивність для платформ, які були відхилені як неефективні. Наприклад, 7 × 7 фільтрів для класифікації зображень, як правило, не використовуються, тому що вони досить обчислювально дорогі - але дослідницька група виявила, що вони дійсно добре працювали для GPU.
"Це суперечить попередньому людському мисленню", - повідомив MIT News. «Чим більше простір пошуку, тим більше невідомих речей можна знайти. Ви не знаєте, чи буде щось краще, ніж минулий людський досвід. Нехай AI це зрозуміє. "
Ці зусилля, спрямовані на підвищення продуктивності та можливостей ІІ, все ще знаходяться на етапі, де можливі величезні покращення. Як ми недавно обговорювали, з часом поле буде обмежене тими самими відкриттями, які ведуть його вперед. Прискорювачі та процесори інтелектуальної власності надають величезні переваги в короткостроковій перспективі, але вони не є фундаментальною заміною для масштабування, яке історично надає просування закону Мура.
Читати далі
Захистіть свою конфіденційність в Інтернеті за допомогою 5 найкращих мереж VPN
Зараз інвестування в VPN - це розумний вибір, але можливостей величезна. Щоб трохи звузити ситуацію, ми зібрали п’ять наших улюблених споживчих послуг.
Сторонні ремонтні магазини можуть бути заблоковані для обслуговування камери iPhone 12
Згідно з нещодавнім звітом iFixit, ворожість Apple до права ремонту досягла нових вершин з iPhone 12 та iPhone 12 Pro.
Зонд Voyager 2 розмовляє з оновленою мережею NASA через 8 місяців мовчання
NASA щойно сказало "привіт" Voyager 2, і зонд відповів.
SpaceX, NASA надіслали 4 астронавтів на МКС у першій комерційній місії
Після років розвитку програма комерційного екіпажу досягла успіху.