MLPerf опубликовал первые результаты теста AI Inferencing

ИИ везде в наши дни. Производители SoC стараются внедрить эти возможности в свои продукты. От Intel и Nvidia на вершине рынка до Qualcomm, Google и Tesla, все говорят о создании новых чипов для обработки различных рабочих нагрузок, связанных с искусственным интеллектом и машинным обучением.

Хотя эти компании показали, что их собственные продукты набирают впечатляющие результаты в различных тестах, существует потребность в инструментах, которые независимые третьи стороны могут использовать для сравнения и оценки чипов. MLPerf - это совместная работа десятков разработчиков, ученых и заинтересованных лиц из ряда компаний и организаций, занимающихся различными аспектами AI / DL. Цель проекта - создать тестовую среду, которая может использоваться для оценки огромного диапазона потенциальных продуктов и вариантов использования.

В этом случае мы обсуждаем логическое заключение, а не обучение. Инференция - это приложение модели к задаче. Обучение относится к созданию модели в первую очередь. Модели, как правило, обучаются на высокопроизводительных ПК, серверах или эквиваленте кластера HPC, в то время как логические рабочие нагрузки могут выполняться на любом устройстве, от сотового телефона до высокопроизводительного сервера.

По словам Дэвида Кантера, который является сопредседателем разработки теста вывода, команда разработчиков MLPerf остановилась на четырех ключевых сценариях, которые они оценивают. Краевые устройства, такие как мобильные телефоны, ориентированы на чтение данных из одного потока за раз. Эти устройства подчеркивают низкую задержку и сравниваются с этими критериями. Следующий класс продуктов считывает несколько потоков данных одновременно, как Tesla с восемью отдельными камерами. В этих случаях способность системы обрабатывать все рассматриваемые потоки данных в допустимых задержках становится важной.

На бэкэнде есть вопрос о том, может ли сервер поддерживать достаточное количество запросов в секунду в пределах определенного конверта ответа, в то время как «автономный» тест предназначен для таких задач, как сортировка фотографий, которые не имеют измерения времени прилагается к ним. Эти четыре задачи концептуально охватывают области, в которых предполагается использовать логический вывод.

MLPerf позволит пользователям представлять результаты тестов как в закрытом, так и в открытом разделении. Закрытое подразделение будет иметь более строгие правила в отношении своих представлений и тестов, в то время как открытое подразделение позволит проводить больше экспериментов и настройки. Одна маленькая особенность, которая мне особенно нравится, это то, как классифицируются результаты MLPerf. Существует три категории: Доступно, Предварительный просмотр и RDO (Исследования, Разработка, Другое). Доступно означает, что вы можете купить оборудование сегодня, Preview означает, что оно будет доступно в течение 180 дней или до следующего выпуска MLPerf, а RDO предназначено для прототипов и систем, не предназначенных для общего производства. Этот тип различия позволит пользователям понять, какие аппаратные платформы следует сравнивать.

Диапазон производительности различных решений в отделе Closed Performance. Тот факт, что эти результаты различаются в 10 000 раз, был довольно сложной задачей. Кантер сказал нам, что это сделало вывод теста особенно сложным - MLPerf нужно было разработать тесты, которые могли бы масштабироваться более чем на четыре порядка. Мой коллега Дэвид Кардинал сослался на некоторые конкретные сравнения Nvidia, но я хотел бы выделить большую версию информационного набора.

Чтобы дать вам представление о том, насколько это сложно: когда Maxon выпустил новую версию Cinebench, они сделали это отчасти потому, что на рендеринг старой сцены Cinebench ушло так мало времени, что это больше не было значимым тестом процессора. Новый тест CB20 занимает больше времени, чем CB15. Но это сильно раздражает запуск одноядерной версии теста, который теперь занимает значительно больше времени. Эта более длительная задержка раздражает при запуске теста, скажем, от 1 до 16 ядер. Попытка построить эталонный тест, который может быть выполнен за приемлемое количество времени на чипах с гораздо большим разрывом, - трудная перспектива.

Я рад видеть, что такие продукты, как MLPerf, находятся в стадии разработки, и я с нетерпением жду совместной работы над проектом, когда он будет готов к публичному выпуску. У MLPerf есть большая команда разработчиков со всего мира и академическая и коммерческая поддержка. Это не усилие, контролируемое какой-либо одной компанией, и оно не было разработано для поддержки продуктов какой-либо одной компании. Когда на рынок выйдут аппаратные фильтры с поддержкой AI и ML, нам понадобятся тесты, которые смогут оценить его возможности. Пока что MLPerf выглядит как один из лучших.