Huawei спіймав обман в тестах смартфонів GPU

Huawei спіймав обман в тестах смартфонів GPU

Китайський виробник Huawei розповсюджує пристрої, увімкнувши таємні еталонні режими, суттєво збиваючи при цьому уявлення про продуктивність цих пристроїв та збільшуючи результати їх випробувань. Це далеко не перший час, коли ми опинилися на цьому шляху, використовуючи порівняльний аналіз або мобільні пристрої, але те, що зробив Huawei, є трохи незвичним.

Anandtech наткнувся на цю проблему під час тестування кількох пристроїв Huawei і підтвердив поведінку пристрою, використовуючи приватні версії загальнодоступних тестів, які можна завантажити в Інтернеті. Ці приватні версії коду ідентичні стандартним варіантам, але використовують заплутані імена або приховують інші деталі, щоб смартфон не виявив, що вони працюють, і штучно підвищують продуктивність.

Huawei спіймав обман в тестах смартфонів GPU

Як пояснює Anandtech, те, що робить Huawei, дещо відрізняється від того, що робили інші постачальники SoC у минулому. Коли ми бачили ці проблеми раніше, це, як правило, відбувалося через те, що постачальники смартфонів ігнорували власні термічні вказівки та поведінку дроселювання у певних контекстах та працювали над повним нахилом SoC як можна довше, щоб отримати кращі результати. Але Huawei наближається до концепції з іншого боку.

Під час стандартної роботи, продуктивність пристрою різко обмежена, щоб триматися в її термічній упаковці. Кірін 970 ніколи не підходить до рекламованих годинників в результаті. Єдиний час, коли мікросхема виконує за своїми заявленими специфікаціями, коли вона виконує певні контрольні показники. Єдиний спосіб це зробити - це здути TDP SoC. Anandtech вимірював розмір SoC, який мав в середньому 4,39 Вт, коли тестувала тести за допомогою тестів, де телефон не міг обдурити, проти 8,57 Вт, коли пристрій було дозволено виявляти орієнтир і працювати на найвищому рівні. Ця продуктивність в довгостроковій перспективі абсолютно непридатна (якщо тести залишаються запущені, всі пристрої починають відображати сповіщення про перегрівання).

Huawei спіймав обман в тестах смартфонів GPU

Технічно не можна стверджувати, що Huawei розгортає їх SoC. Зрештою, виробники мобільних пристроїв регулярно рекламують годинники, що підвищують частоту базових частот, і вони не надають інформації про те, коли або коли користувачі побачать ці годинники. Але проблема полягає не в тому, чи працює програма Kirin 970 на будь-якій конкретній частоті - це те, чи бачать кінцеві користувачі продуктивності, коли вони запускають графічний тест, щось пов'язане з продуктивністю, яку вони бачитимуть під час запуску гри.

Huawei спіймав обман в тестах смартфонів GPU

Найбільш основним, основним тестом будь-якого еталона є те, чи він фіксує аспект продуктивності або можливостей пристрою, який може керувати кінцевим користувачем при оцінці зазначеного пристрою. Працюючи зі своїм смартфоном в іншому режимі, коли ці тести запускаються, компанія Huawei зробила неможливим проведення таких тестів, як GFXBench, для надання точних даних. Це, в кінцевому рахунку, не має значення, чи SOC перевищує опубліковану тактову частоту чи ні. Головне - це те, що пристрій працює в іншому режимі тоді і тільки тоді, коли кінцеві користувачі намагаються оцінити свою відносну продуктивність поряд з іншими пристроями, які вони можуть купувати.

Боротьба з шахраями

За словами Huawei, ці зміни є результатом рішень, які компанія прийняла для пом'якшення споживання електроенергії на своїх пристроях та збільшення терміну служби акумулятора. Реалізація дроселювання та строгих обмежень TDP практично у всіх випадках використання може збільшити термін служби акумулятора, але мінімально впливає на роботу користувачів, за умови, що годинники добре відкалібровані. З моменту оновлення до iPhone SE раніше цієї весни, я фактично зберігаю пристрій у режимі низького енергоспоживання майже весь час. Так, я беру невеликий удар по продуктивності - але акумулятор телефону триває набагато довше, загальна енергія акумулятора повинна падати менш швидко, а фактичний вплив зниженого годинника процесора практично непомітний.

Проблема з змінами Huawei полягає в тому, що компанія намагалася з'їсти свій торт і теж її придбати. За словами Huawei, ці кроки були здійснені, оскільки кримінальний шахрайство в Китаї просто незграбне, і компанія відчуває, що вона повинна брати участь у такій поведінці, щоб конкурувати з іншими фірмами. Питання про те, як ефективно конкурувати в галузі, коли регулярно конкурує з приводу продуктивності власних продуктів, є справжнім, і нелегко відповісти на цю проблему. Але залучення однієї і тієї ж діяльності в кінцевому підсумку не відповідає інтересам споживачів.