Суб'єкти обробки тензора, орієнтовані на AI, тепер доступні в бета-версії

Протягом кількох років компанія Google працює над своїми блоками обробки тензора або TPU і випустила декілька робіт про продуктивність своєї індивідуальної архітектури при роботі над завантаженням порівняно з більш традиційними моделями, побудованими на процесорах або графічних процесорах. Зараз компанія відкриває ці компоненти для публічного бета-тестування, щоб допомогти дослідникам, які хочуть навчати навантаження на машинне навчання, і виконувати їх швидше.

Google говорив про те, як зробити цю можливість доступною для громадськості, оскільки вона демонструвала свої TPU першого покоління ще в 2016 році. Ці чіпи, однак, були корисними лише для навантаження на висновки. Простий спосіб зрозуміти різницю між навчанням системи машинного навчання та навантаженням на висновок полягає в тому, що коли ви створюєте свою модель та навчаєте її у завданні, яку ви хочете виконувати, тоді як останній є фактичним процесом застосування того, що машина "навчилася". Компанія Google ніколи не робила TPU першого покоління корпораціям для загального навантаження, але ці нові чіпи здатні вирішувати як моделі тренувань, так і вихідні навантаження, а також пропонують більш високий рівень продуктивності.

Ми не знаємо, як ці нові Cloud TPU виконують, але демонструється слайд-шоу, що порівнює попередній TPU Google в робочих навантаженнях висновків з еквівалентними частинами з Intel та Nvidia.

Haswell виходить на 13 операцій за байт. Технічно MLP0 (фіолетовий діамант) може мати користь від більшої настройки та більшої пропускної здатності пам'яті. Інші тести знаходяться під плоскими дахами, що означає, що вони не потрапляють у вузьке місце пам'яті. Google відзначає, що LSTM0 та MLP1 швидше працюють на Haswell, ніж у K80 Nvidia.

K80 Nvidia виштовхує більше TeraOPs / sec, ніж Haswell, а нахилена частина кривої ще крутіша. Практична продуктивність K80 практично нижча за теоретичні показники в більшості тестів, оскільки вихідні навантаження призжають низькою затримкою, що робить їх поганими для GPU. Незважаючи на це, Nvidia працює швидше або дорівнює Intel у всіх, крім двох робочих навантажень.

ТПУ показує дуже різні характеристики. Лише дві робочі навантаження не обмежені пропускною здатністю пам'яті, і кожне завантаження набагато швидше, ніж на GPU або CPU. MLP1 на 48,5x швидше в порівнянні з K80, а CNN0 - на 143x швидше, ніж у Haswell.

Нарешті, всі три набори даних об'єднані. Зірки показують показники TPU, трикутники - K80, а кола - для Haswell. У кожному випадку, без винятку, новий TPU Google значно швидше, ніж у Haswell або K80, а не в невеликих межах.

Кожне Cloud TPU складається з чотирьох окремих ASIC, з загальною кількістю 180 TFLOP продуктивності на плату. Google навіть планує ще більше збільшити ці пропозиції, використовуючи виділену мережу та систему масштабування, яка називається "TPU Pods". -Ed] Компанія Google стверджує, що навіть на такому ранньому етапі дослідник, який виконує один з своїх навчальних програм, може навчити комп'ютерну мережу навчання в загальнодоступній мережі TPU "тренувати ResNet-50 до очікуваної точності на тестовому сценарії ImageNet менш ніж за день" , все за добре за 200 доларів ".

Очікуйте, що в найближчі кілька років на стіні буде забито багато бруду, оскільки буквально кожен падає на цей ринок. AMD має Radeon Instinct, і Intel все ще має свої власні прискорювачі Xeon Phi (навіть якщо він скасовує свій майбутній Knights Hill), Knights Mill, запущений в грудні з додатковими ресурсами виконання та кращою утилізацією AVX-512. Незалежно від того, чи це призведе до закриття розриву з сімейством продуктів Tesla від Nvidia, ще не видно, але Google не є єдиною компанією, що розгортає спеціальний кремній для вирішення цього простору. Fujitsu має власну лінію прискорювачів у своїх роботах, а Amazon і Microsoft раніше розгортали FPGA у власних центрах обробки даних і хмарах.

Надходження до нових хмарних пропозицій Google виставляються на другий рахунок, середня вартість яких становить 6,50 дол. США за Cloud TPU за годину. Якщо вам цікаво зареєструватися в програмі, ви можете зробити це тут. Хмарне обчислення може почати життя трохи більше, ніж спроба ребрендингу, щоб захопити раніше доступні продукти під новим терміном, але вся напівпровідникова промисловість зараз галопується до цих нових обчислювальних парадигм якомога швидше. Від самостійних машин до цифрових помічників "хмарні обчислення" переосмислюються як щось більш значне, ніж "все, що я звичайно роблю, але з додатковою латентністю". Через десять років важко пам'ятати, чому підприємства спираються на щось інше .

Читати далі

ЄС розбиває центри обробки даних у космос

Простір: кордон даних.

ARM оголошує проект Trillium, нову виділену сімейство обробки AI

ARM запустила нову серію процесорів, орієнтованих на інтелектуальну власність, з метою покращення машинного навчання на мобільних пристроях.

MediaTek представила новий P60 Helio з інтегрованою обробкою AI

MediaTek представляє свій новий Helio P60 SoC на Світовому конгресі Mobile, що суттєво покращив продуктивність процесора, GPU та AI.

Нові картки microSD SanDisk швидше, ніж ваш телефон може обробляти

З тих пір, як Android та iOS вийшли на ринок, можливість додавання додаткової ємності є принциповою різницею між ними. Багато пристроїв Android (хоча і не всі) пропонують слот microSD з можливістю додавання змінної кількості пам'яті. iPhone категорично немає. З часом Android рухається до інтеграції додаткового сховища як ...