MLPerf оприлюднив перші результати від показника AI Inferencing

AI є скрізь у ці дні. Продавці SoC перепадають над собою, щоб використати ці можливості у своїх продуктах. Від Intel та Nvidia на вершині ринку до Qualcomm, Google та Tesla, всі говорять про створення нових мікросхем для обробки різних навантажень, пов'язаних із штучним інтелектом та машинним навчанням.

Хоча ці компанії демонстрували власну продукцію, набираючи вражаючі результати в різних тестах, є потреба в інструментах, якими незалежні треті сторони можуть використовувати для порівняння та оцінки фішок. MLPerf - це спільна робота між десятками розробників, науковців та зацікавлених осіб з ряду компаній та організацій, що займаються різними аспектами AI / DL. Мета проекту - створити тестову основу, яка може бути використана для оцінки величезного спектру потенційних продуктів та випадків використання.

У цьому випадку ми обговорюємо питання про переродження, а не про навчання. Інтерференція - це застосування моделі до завдання. Тренінг стосується створення моделі в першу чергу. Моделі, як правило, навчаються на комп'ютерах високого класу, серверах або еквіваленті кластера HPC, в той час як посилення навантаження може працювати на будь-якому мобільному телефоні до висококласного сервера.

За словами Девіда Кантера, який співголовує над розробкою орієнтиру висновку, команда дизайнерів MLPerf вирішила чотири ключові сценарії, які вони оцінюють. Крайові пристрої, як і мобільні телефони, фокусуються на читанні даних з одного потоку за раз. Ці пристрої підкреслюють низьку затримку і порівняно з цими критеріями. Наступний клас продуктів читає відразу декілька потоків даних, як Tesla з вісьмома окремими камерами. У цих випадках важлива здатність системи обробляти всі поточні потоки даних у межах прийнятних затримок.

На вихідному етапі виникає питання, чи може сервер підтримувати адекватну кількість запитів за секунду в межах визначеного конверта відповідей, тоді як тест "Offline" призначений для таких завдань, як сортування фотографій, які не мають часового виміру прикріплені до них. Ці чотири завдання концептуально закріплюють сфери, де очікується використання зараження.

MLPerf дозволить користувачам подавати результати порівняння як у закритому, так і у відкритому підрозділі. Закритий підрозділ матиме більш суворі правила щодо своїх заявок та тестів, тоді як відкритий поділ дозволить зробити більше експериментів та налаштування. Однією з невеликих особливостей, які мені особливо подобаються, є те, як класифікуються результати MLPerf. Існує три категорії: Доступний, Попередній перегляд та RDO (Дослідження, Розробка, Інше). Доступні засоби, ви можете придбати обладнання сьогодні, Preview означає, що він буде доступний протягом 180 днів або до наступного випуску MLPerf, а RDO призначений для прототипів і систем, не призначених для загального виробництва. Цей тип розрізнення дозволить користувачам зрозуміти, з якими апаратними платформами слід порівнювати.

Діапазон продуктивності різних рішень у закритому підрозділі продуктивності. Те, що ці результати до 10 000x різні, було досить складним завданням. Кантер сказав нам, що це зробило орієнтовний показник особливо складним - MLPerf потрібно було розробити тести, які могли б мати масштаб більше чотирьох порядків. Мій колега Девід Кардинал згадував про деякі конкретні порівняння Nvidia, але я хотів висвітлити більш широкий випуск набору інформації.

Щоб дати вам уявлення, як це важко: Коли Maxon випустив нову версію Cinebench, вони зробили це частково, тому що для виведення старої сцени Cinebench потрібно було так мало часу, що це вже не було значущим тестом на процесор. Новий тест CB20 потребує більше часу, ніж для CB15. Але це дуже дратує запуск одноядерної версії тесту, який зараз займає значно більше часу. Ця більша затримка дратує при запуску тесту з, скажімо, 1-16 ядер. Спроба створити орієнтир, який може завершитись за прийнятну кількість часу на чіпах із значно більшим пробілом, є складною перспективою.

Я дуже радий бачити такі продукти, як MLPerf, що розробляються, і я з нетерпінням чекаю співпраці з проектом, коли він буде готовий до публічного релізу. MLPerf має велику команду розвитку з усього світу та поєднання академічної та комерційної підтримки. Це не зусилля, контрольовані будь-якою окремою компанією, і воно не було розроблене для того, щоб надавати перевагу продукції жодної компанії. Оскільки апаратні фільтри з підтримкою AI та ML виходять на ринок, нам знадобляться тести, які можуть оцінити його можливості. Поки MLPerf виглядає як один з найкращих.

Читати далі

Результати порівняльних показників показують, що Apple M1 перемагає кожен MacBook Pro на базі Intel

Новий SoC від M1 від Apple може перемогти кожну окрему систему Intel, яку він продає, принаймні за один ранній результат. Ми копаємось у цифрах та ймовірній конкурентній ситуації.

OnePlus спіймав маніпулювання показниками ефективності смартфонів

Незважаючи на те, що маючи достатню потужність, OnePlus 9 агресивно виступає за продукти для більшості додатків, дозволяючи забезпечити повну потужність. Як результат, його телефони були витягнуті з графіків GeekBench.

Newegg змусив людей купувати гігабайтні джерела живлення з катастрофічними показниками

Розслідування джерел живлення гігабайт виявило, що неприйнятна кількість одиниць страждає від невдач, багато з них вибухові. Що робить все це гірше, що ті ж два моделі, як відомо, постраждали, були частиною примусової програми примусової програми раніше на початку цього року.

AT & T's Free Batman Cloud Gaming Точки до іншого майбутнього для показників Google

З'являється перша угода ліцензування стадії. AT & T Wireless клієнти можуть потік Бетмена: Arkham Knight безкоштовно, але не через додаток або веб-сайт Stadia.