MIT розробляє алгоритм прискорення нейронних мереж на 200x
Нейронні мережі були актуальною темою останніх років, але оцінка найбільш ефективного способу побудови такої для обробки даного стосу даних все ще є важкою справою. Проектування систем, які можуть використовувати алгоритми для побудови самих оптимальних способів, все ще є зароджуваним полем, але дослідники MIT розробили алгоритм, який може прискорити процес до 200x.
Розроблений ними NAS (пошук нейронної архітектури в цьому контексті) "може безпосередньо вивчати спеціалізовані нейромережі (CNNs) для цільових апаратних платформ - при роботі на масивному наборі зображень - всього за 200 годин GPU", повідомляє MIT News. Це серйозне поліпшення за 48 тисяч годин, про які Google повідомила, що розробляє найсучасніші алгоритми NAS для класифікації зображень. Мета дослідників - демократизувати AI, дозволяючи дослідникам експериментувати з різними аспектами дизайну CNN, не потребуючи величезних масивів GPU для роботи з інтерфейсом. Якщо пошук сучасних підходів вимагає 48 000 масивів графічних процесорів, то мало хто, навіть у великих установах, матиме можливість спробувати.
Алгоритми, створені новим NAS, в середньому були в 1,8 рази швидше, ніж CNN, перевірені на мобільному пристрої з подібною точністю. Новий алгоритм використовував такі методики, як бінаризація на рівні шляху, яка зберігає лише один шлях на час, щоб зменшити споживання пам'яті на порядок. MIT насправді не пов'язується з конкретними дослідницькими звітами, але з деякими результатами Google, згадані статті здаються тут і тут - двома різними дослідницькими звітами групи дослідників, що перекриваються. Команди зосередилися на обрізанні всіх потенційних шляхів для використання CNN, оцінюючи кожного по черзі. Нижчі шляхи ймовірності послідовно скорочуються, залишаючи кінцевий шлях найкращого випадку.
Нова модель також включила інші поліпшення. Архітектури перевірялися на апаратні платформи для затримки при оцінці. У деяких випадках їхня модель передбачала високу продуктивність для платформ, які були відхилені як неефективні. Наприклад, 7 × 7 фільтрів для класифікації зображень, як правило, не використовуються, тому що вони досить обчислювально дорогі - але дослідницька група виявила, що вони дійсно добре працювали для GPU.
"Це суперечить попередньому людському мисленню", - повідомив MIT News. «Чим більше простір пошуку, тим більше невідомих речей можна знайти. Ви не знаєте, чи буде щось краще, ніж минулий людський досвід. Нехай AI це зрозуміє. "
Ці зусилля, спрямовані на підвищення продуктивності та можливостей ІІ, все ще знаходяться на етапі, де можливі величезні покращення. Як ми недавно обговорювали, з часом поле буде обмежене тими самими відкриттями, які ведуть його вперед. Прискорювачі та процесори інтелектуальної власності надають величезні переваги в короткостроковій перспективі, але вони не є фундаментальною заміною для масштабування, яке історично надає просування закону Мура.
Читати далі
Звіт: Прискорення споживчого SSD прискорюється
SSDS тепер вибухонні жорсткі диски в споживчих системах широкою маржею. Drives NVME доступні на рівні найдешевшій ПК.
Mercedes стягувати 1200 доларів на рік за EV "збільшення прискорення"
Пакет збільшення прискорення являє собою крок Mercedes в суперечливу практику: зарядка клієнтів на основі підписки на функції, які вже мають їхні автомобілі.
Звіт: Tesla Model X прискорено на шляху до бар'єру до смертельного удару
Згідно з NTSB, не тільки Tesla Autopilot спрямовують у конкретний дільник, це фактично збільшило.
Google стверджує, що високі прискорення оновлень для Android значно зб
Google також намагається змусити оригінальних виробників продукції своєчасно оновлювати свої телефони. Випробувані численні способи прискорити розкрутку версій Android, але жоден з них не працював досі. Google стверджує, що рівень проектних висок удвічі збільшився.