MIT розробляє алгоритм прискорення нейронних мереж на 200x
Нейронні мережі були актуальною темою останніх років, але оцінка найбільш ефективного способу побудови такої для обробки даного стосу даних все ще є важкою справою. Проектування систем, які можуть використовувати алгоритми для побудови самих оптимальних способів, все ще є зароджуваним полем, але дослідники MIT розробили алгоритм, який може прискорити процес до 200x.
Розроблений ними NAS (пошук нейронної архітектури в цьому контексті) "може безпосередньо вивчати спеціалізовані нейромережі (CNNs) для цільових апаратних платформ - при роботі на масивному наборі зображень - всього за 200 годин GPU", повідомляє MIT News. Це серйозне поліпшення за 48 тисяч годин, про які Google повідомила, що розробляє найсучасніші алгоритми NAS для класифікації зображень. Мета дослідників - демократизувати AI, дозволяючи дослідникам експериментувати з різними аспектами дизайну CNN, не потребуючи величезних масивів GPU для роботи з інтерфейсом. Якщо пошук сучасних підходів вимагає 48 000 масивів графічних процесорів, то мало хто, навіть у великих установах, матиме можливість спробувати.
Алгоритми, створені новим NAS, в середньому були в 1,8 рази швидше, ніж CNN, перевірені на мобільному пристрої з подібною точністю. Новий алгоритм використовував такі методики, як бінаризація на рівні шляху, яка зберігає лише один шлях на час, щоб зменшити споживання пам'яті на порядок. MIT насправді не пов'язується з конкретними дослідницькими звітами, але з деякими результатами Google, згадані статті здаються тут і тут - двома різними дослідницькими звітами групи дослідників, що перекриваються. Команди зосередилися на обрізанні всіх потенційних шляхів для використання CNN, оцінюючи кожного по черзі. Нижчі шляхи ймовірності послідовно скорочуються, залишаючи кінцевий шлях найкращого випадку.
Нова модель також включила інші поліпшення. Архітектури перевірялися на апаратні платформи для затримки при оцінці. У деяких випадках їхня модель передбачала високу продуктивність для платформ, які були відхилені як неефективні. Наприклад, 7 × 7 фільтрів для класифікації зображень, як правило, не використовуються, тому що вони досить обчислювально дорогі - але дослідницька група виявила, що вони дійсно добре працювали для GPU.
"Це суперечить попередньому людському мисленню", - повідомив MIT News. «Чим більше простір пошуку, тим більше невідомих речей можна знайти. Ви не знаєте, чи буде щось краще, ніж минулий людський досвід. Нехай AI це зрозуміє. "
Ці зусилля, спрямовані на підвищення продуктивності та можливостей ІІ, все ще знаходяться на етапі, де можливі величезні покращення. Як ми недавно обговорювали, з часом поле буде обмежене тими самими відкриттями, які ведуть його вперед. Прискорювачі та процесори інтелектуальної власності надають величезні переваги в короткостроковій перспективі, але вони не є фундаментальною заміною для масштабування, яке історично надає просування закону Мура.
Читати далі
NASA: Астероїд все ще міг потрапити на Землю в 2068 році
Цей астероїд розміром з хмарочос може все-таки потрапити на Землю в 2068 році, згідно з новим аналізом Гавайського університету та лабораторією реактивного руху НАСА.
Огляд MSI Nvidia RTX 3070 Gaming X Trio: продуктивність 2080 Ti, ціна паскаль
Новий RTX 3070 від Nvidia - це казковий графічний процесор за вигідною ціною, і MSI RTX 3070 Gaming X Trio це добре демонструє.
Nvidia: Графічні процесори RTX 3000 буде важко знайти до 2021 року
Немає надії на короткострокове покращення доступності графічного процесора RTX 3000. Дефіцит, ймовірно, триватиме до кінця цього року та до початку 2021 року.
Бета-версія SpaceX Starlink може розширитися найближчим часом до січня 2021 року
SpaceX запускає інтернет-супутники Starlink протягом останніх 18 місяців або близько того, і все, що їм вдалося зробити протягом більшої частини цього часу, - це астрономи. Однак перші користувачі змогли увійти в Інтернет-службу Starlink від SpaceX, і їхні враження хороші. Це лише невеликий бета-тест, але SpaceX, мабуть, планує більш широкий тест на початку наступного року.