MIT розробляє алгоритм прискорення нейронних мереж на 200x
Нейронні мережі були актуальною темою останніх років, але оцінка найбільш ефективного способу побудови такої для обробки даного стосу даних все ще є важкою справою. Проектування систем, які можуть використовувати алгоритми для побудови самих оптимальних способів, все ще є зароджуваним полем, але дослідники MIT розробили алгоритм, який може прискорити процес до 200x.
Розроблений ними NAS (пошук нейронної архітектури в цьому контексті) "може безпосередньо вивчати спеціалізовані нейромережі (CNNs) для цільових апаратних платформ - при роботі на масивному наборі зображень - всього за 200 годин GPU", повідомляє MIT News. Це серйозне поліпшення за 48 тисяч годин, про які Google повідомила, що розробляє найсучасніші алгоритми NAS для класифікації зображень. Мета дослідників - демократизувати AI, дозволяючи дослідникам експериментувати з різними аспектами дизайну CNN, не потребуючи величезних масивів GPU для роботи з інтерфейсом. Якщо пошук сучасних підходів вимагає 48 000 масивів графічних процесорів, то мало хто, навіть у великих установах, матиме можливість спробувати.
Алгоритми, створені новим NAS, в середньому були в 1,8 рази швидше, ніж CNN, перевірені на мобільному пристрої з подібною точністю. Новий алгоритм використовував такі методики, як бінаризація на рівні шляху, яка зберігає лише один шлях на час, щоб зменшити споживання пам'яті на порядок. MIT насправді не пов'язується з конкретними дослідницькими звітами, але з деякими результатами Google, згадані статті здаються тут і тут - двома різними дослідницькими звітами групи дослідників, що перекриваються. Команди зосередилися на обрізанні всіх потенційних шляхів для використання CNN, оцінюючи кожного по черзі. Нижчі шляхи ймовірності послідовно скорочуються, залишаючи кінцевий шлях найкращого випадку.
Нова модель також включила інші поліпшення. Архітектури перевірялися на апаратні платформи для затримки при оцінці. У деяких випадках їхня модель передбачала високу продуктивність для платформ, які були відхилені як неефективні. Наприклад, 7 × 7 фільтрів для класифікації зображень, як правило, не використовуються, тому що вони досить обчислювально дорогі - але дослідницька група виявила, що вони дійсно добре працювали для GPU.
"Це суперечить попередньому людському мисленню", - повідомив MIT News. «Чим більше простір пошуку, тим більше невідомих речей можна знайти. Ви не знаєте, чи буде щось краще, ніж минулий людський досвід. Нехай AI це зрозуміє. "
Ці зусилля, спрямовані на підвищення продуктивності та можливостей ІІ, все ще знаходяться на етапі, де можливі величезні покращення. Як ми недавно обговорювали, з часом поле буде обмежене тими самими відкриттями, які ведуть його вперед. Прискорювачі та процесори інтелектуальної власності надають величезні переваги в короткостроковій перспективі, але вони не є фундаментальною заміною для масштабування, яке історично надає просування закону Мура.
Читати далі
Amazon скопійовано продукти продавців, маніпульованих алгоритмів, щоб відобразити свої власні версії
Вони кажуть, що імітація є найвищою формою лестощів, але для підприємств, які продають на Amazon, це може бути різниця між успіхом та руйнуванням.
Внутрішні дослідження Twitter підтверджує, що його алгоритм сприяє права голосу
В останні роки консервативні політики та активісти порушувались проти "скасування культури", стверджуючи, що твіттер та інші соціальні медіа-розетки упереджені проти них - отже, існування правої альтернатив, як Gab, Parler, та нова правда Трампа соціальна. Twitter тільки що опублікував деякі внутрішні дослідження, що пропонує протилежне. Згідно з документом, його алгоритм фактично сприяє правильному голосі.
Останні оновлення iOS використовує алгоритми виявлення нуду в дитячій версії Messenger
Функція розгорнута до iPhones та iPads з iOS 15.2, яка стала доступною понеділка.
Мета поселяється з DOJ через дискримінаційні алгоритми AD
Новий позов стверджує, що маркетингові інструменти META дозволили та спонукали рекламодавців орієнтуватися на житлові оголошення на основі демографічних характеристик, що заборонено Законом про справедливе житло.