Принципиальные технологии реагируют на Intel Whitepaper Controversy, мы проверяем требования к производительности

Два дня назад корпорация Intel выпустила технический документ, выпущенный компанией Principled Technologies, который содержал ошибки настолько значительными, что они поднимаются до уровня лжи о производительности своего конкурента. Принципиальные технологии теперь выпустили ответ на эти претензии, защищающие свою собственную работу, - и wfoojjaec выполнил свое частичное подтверждение заявлений PT о своих результатах Intel CPU.

В своем ответе на различные обвинения и претензии, соучредитель Principled Technologies, Bill Catchings, представил следующее заявление. Его полное заявление можно прочитать на WCCFTech, мы перепечатали соответствующие разделы ниже:

Использование «Игрового режима» на AMD Ryzen ™ 7 2700X: некоторые запросы, которые мы получили, касаются использования утилиты Ryzen и количества активных ядер в системах на базе AMD. Основываясь на рекомендациях AMD и нашем первоначальном тестировании на процессорах Threadripper, мы обнаружили, что устанавливаем утилиту AMD Ryzen Master и позволяем игровому режиму увеличить результаты. Для целей согласованности мы сделали это для всех систем AMD в Threadripper ™ и Ryzen ™. Сейчас мы проводим дополнительное тестирование с системами AMD в режиме Creator. Мы обновим отчет с новыми результатами.

Скорость памяти: чтобы иметь полную четность во всех системах и позволить Intel® Core ™ i9 X-series и AMD Ryzen ™ Threadripper ™ полностью использовать пропускную способность памяти, мы использовали 4 16 ГБ DDR4 DIMM для всех конфигураций. Мы выполнили следующие шаги настройки памяти.

Остальная часть ответа Catchings затрагивает различные темы, которые мы не поднимали в ET, и не обеспокоены их влиянием на результаты теста. Вышеуказанные два момента являются основными - и это те, о которых нам нужно обсудить чуть более подробно.

Во-первых, Principled Technologies разъясняет, что на самом деле это создало катастрофическую ошибку при настройке Game Mode. Это правда, что AMD рекомендует включить игровой режим для Threadripper в определенных случаях. Но AMD также дает понять, что Game Mode предназначен для Threadripper. Следующее изображение приведено на стр. 26 краткого справочного руководства AMD Ryzen Master:

Кроме того, руководство AMD по разгону для Ryzen Master делает функцию игрового режима предельно ясной. Page 25: «При включении с процессорами Ryzen или Ryzen Threadripper, предлагающими> 4 физических процессора, режим совместимости Legacy уменьшает ресурсы активного логического процессора наполовину».

Нет ничего плохого в тестировании продвинутых, энтузиастов, но обычно каждый раз читает инструкции прежде, чем активировать их. Лучшим объяснением для работы РТ является то, что компания не выполнила элементарные должной осмотрительности в этом вопросе.

Однако объяснения компании в отношении ее конфигураций памяти не проходят элементарный контроль. Нам говорят, что используемые конфигурации ОЗУ были выбраны «для обеспечения полной четности во всех системах».

Это ложь.

XMP был включен на Intel Z390, отключен на X299-Deluxe и включен на Prime Z370-A, который используется для тестирования Core i7-8086K и Core i7-8700K. Для Threadripper, D.O.C.P. Была использована стандартная настройка (Asus назвал это «XMP другим именем»). Материнская плата Asus Prime X470 Pro, используемая для тестирования 2700X, вообще не включала XMP или DOCP. Другими словами, из пяти разных материнских плат три имели XMP или эквивалент, а два - нет. Часы RAM, по-видимому, устанавливались в соответствии с максимальными спецификациями производителя. Но выбор использовать часы памяти, указанные производителем, и оставить XMP отключенным и включенным при поворотах означает, что подсистемы памяти этих платформ не были настроены для максимальной четности.

Удивительно удивительно, что основная система AMD, которая представляет собой прямую конкуренцию Core i9-9900K, отключила половину своих процессорных ядер и не смогла использовать ни XMP, ни DOCP без объяснений, предоставленных для этого решения о конфигурации. Имейте в виду, что XMP - это стандарт, оптимизированный для Intel. Это может улучшить производительность на чипах AMD по сравнению с тем, что по умолчанию используются тайминги совместимости с мусором, но он не оптимизирован для AMD. Даже включение XMP во всех системах действительно не является равным игровым полем, но позволяет использовать его для некоторых платформ AMD, а не для других, создает дополнительный наклон.

Если «Принцип» хотел настроить максимальную четность, он должен был протестировать, когда XMP полностью включен или отключен для всех продуктов и всех систем, используя одни и те же часы RAM. Если бы он хотел протестировать в одобренной производителем конфигурации, он должен был заявить, что это делает, и объяснил, почему XMP / DOCP был включен или отключен в каждом конкретном случае по сравнению с лучшими практиками, переданными AMD и Intel. То, что у нас получилось, не было.

Ситуация становится еще более странной, как только вы видите, что даже некоторые из заявлений Intel о производительности Intel нечетны. Просматривая документ, я понял, что компания Principled Technologies использовала материнскую плату Asus Prime Z370-A под управлением UEFI 1406 с GTX 1080 Ti, которая, как оказалось, соответствует именно той системе, которую я использовал для нашего недавнего обзора RTX 2080 и 2080 Ti. Они были даже достаточно любезны, чтобы проверить многие из тех же игр.

Мне было любопытно. Могу ли я проверить результаты Intel, которые они сообщили для Core i7-8086K? По большей части да - с некоторыми заметными и нечетными исключениями.

Подтверждение результатов Принципиальных технологий

Это не полный цикл проверки; только часть наших контрольных семейств перекрывается. Я повторно протестировал Core i7-8086K и GeForce GTX 1080 Ti в соответствии с настройками игры, настройками конфигурации Windows и настройками UEFI, подробно описанными в технической документации PT. Я также тестировал их с измененной настройкой. Оказывается, если вы измените опцию UEFI «Энергосбережение и производительность» UEFI в «Performance Mode» и вдали от «Auto», вы также отключите все C-состояния и заблокируете CPU с плоскими постоянными часами 4,3 ГГц без Turbo бы то ни было. Кажется странным блокировать чип на одной статической частоте в «Performance Mode», но я хотел посмотреть, какая разница может быть достигнута с конечными результатами.

Я тестировал наш Core i7-8086K в двух разных конфигурациях: одна конфигурация точно соответствует шагам, описанным в технической документации Principled Technologies, - не более, не меньше. Одна конфигурация соответствует этим шагам конфигурации, но с одним изменением: я оставил настройку «Режим производительности» на Авто. И, конечно же, мы включили собственные результаты Principled Technologies. Вот результаты, графические диаграммы для удобочитаемости:

Вещи в основном проверяются хорошо, с двумя вопиющими странностями и одним меньшим. Обе основные проблемы в Warhammer II. Прежде всего, Warhammer II не должен тестироваться в DirectX 12 с графическим процессором Nvidia, как мы обсуждали ранее на этой неделе. Но во-вторых, результаты, полученные для теста Скавена, слишком низки. Наш собственный Core i7-8086K + GeForce GTX 1080 Ti набрал 87 кадров в секунду при прохождении этого теста в режиме Ultra. «Principled Technologies» сообщает о 83 кадрах в секунду «Высокие» детали, наши повторные тесты сцены на этом уровне качества положили наш рейтинг на 1,25 раза выше.

Аналогичная проблема наблюдается и в Warhammer II: лабораторный тест. Нам говорят ожидать результата 41; наш фактический результат составил 48 или 49, прирост 1,17x - 1,19x.

Наконец, в бенчмарке Final Fantasy XV оценка 10 858, сообщенная PT, была на 7-8 процентов выше наших собственных результатов в обеих конфигурациях. Не было явного преимущества или недостатка для включения или отключения режима производительности в тестах, которые мы могли проверить, но мы не смогли подтвердить результаты тестов в трех из 13 проведенных нами испытаний. Это не отличная находка для проекта, когда мы уже знаем, что процессор AMD был явно неправильно сконфигурирован. Я не знаю, почему я не могу реплицировать результаты PT в каждом тесте, но я знаю, что сделал аналогичную проверку результатов тестов, используя рекомендации рецензента, предоставленные Intel и AMD, во многих случаях. Что-то здесь не так.

Это ответственность Intel

Я не знаю, несет ли ответственность за эту ошибку или за ее использование, если я имею в виду, если Принципы Технологии не понимают, что Принципиальные Технологии просто неправильно поняли, как работает утилита AMD, или если им сказали неправильно понять, как работает утилита Intel. Пользовательский интерфейс Ryzen Master не идентичен для Threadripper и Ryzen 7; в опции режима устаревшего режима совместимости есть дополнительные переключатели, которые не отображаются, если вы используете его только на восьмиядерном процессоре. Это должно было показать, что функция работает по-разному на разных микропроцессорах. Оба документа AMD ясно показывают, что «Игровой режим» отключит ядра процессора. Охват «Рызена» с момента запуска также прояснил ситуацию.

Компании, как правило, очень осторожны, когда они говорят о своей конкуренции, потому что они могут открыть их до юридической ответственности, если они обнаружат ложные претензии. Во многих случаях компании предпочитают просто говорить о «конкуренции», даже когда они буквально конкурируют с другой компанией. Привлечение сторонних разработчиков к написанию технической документации - это один из способов предложить дополнительную информацию, которая не рассматривается как непосредственно от самой Intel. Но не ошибитесь - Principled Technologies - это компания, которая пишет документ для клиента, что означает, что клиент имеет надзор и вводят как условия тестирования, так и конечный продукт. Если Intel не любит установку, игру или тест производительности, этот тест отсутствует в этом документе.

Ни Intel, ни Principled Technologies не ответили на наши электронные письма. Может ли это быть результатом честной ошибки или недосмотра? Конечно. Поверьте, это был не первый случай, когда кто-то перевернул неправильный переключатель, а затем провел 10 часов, весело сравнивая неправильную конфигурацию оборудования. Но есть проблемы, множественное число, с этим документом, его данными, неспособностью Intel отреагировать на него и тем фактом, что Principled Technologies все еще пытается отказаться от подтверждения того, что он опубликовал достоверно ложные результаты с хромой ссылкой на повторное тестирование процессоров AMD что он должен был знать, были в первую очередь неправильно сконфигурированы. Компания продолжает продвигать ложное повествование о конфигурации своей памяти и о том, как она предположительно установила паритет конфигурации памяти между тестовыми стендами, когда ничего не делала.

В то время, когда Intel должна строить повествование вокруг Core i9-9900K в качестве первого основного восьмиядерного настольного процессора, демонстрации прогресса вперед и отвлечения от собственных проблем безопасности и производственных задержек, мы вместо этого имеем расширенный разговор о том, пытался ли гигант чипов лгать потребителям по доверенности. Это не очень хорошо.