[Update] Huawei will Änderungen nach Benchmark-Betrug

[P-J-F]

[Update] Laut eines gemeinsamen Statements von Huawei und UL haben sich beide Seiten auf eine Zusammenarbeit in Sachen “Benchmark-Schummelei” geeinigt. Man will sich demnach für einen neuen Standard in der Industrie einsetzen, der Herstellern, Käufern und der Presse für ihre Berichterstattung mehr helfe, als die Art und Weise, wie es derzeit läuft.

Huawei hat den “geheimen” Benchmark-Modus ja unter anderem damit gerechtfertigt, dass die Mitbewerber es auch nicht anders händeln würden. Wobei das eigene Betriebssystem mittels künstlicher Intelligenz eigentlich sehr viel smarter die Prozesse auf den Smartphones zwischen Leistung und Energieeffizienz händeln würde. Huawei will außerdem offener mit dem Thema umgehen und den bislang versteckten “Performance Mode” zusammen mit dem Upgrade auf Android 9 Pie und EMUI 9 als Option verfügbar machen. Nutzern steht dann tatsächlich die volle Power des Smartphones zur Verfügung - massiver Akku-Drain wahrscheinlich inklusive. [/Update]

Huawei and UL (creators of 3DMark) have held comprehensive discussions on benchmarking practices this week, and have reached a positive agreement on the next steps in working together. In the discussion, Huawei explained that its smartphones use an artificial intelligent resource scheduling mechanism. Because different scenarios have different resource needs, the latest Huawei handsets leverage innovative technologies such as artificial intelligence to optimize resource allocation in a way so that the hardware can demonstrate its capabilities to the fullest extent, while fulfilling user demands across all scenarios. UL understands the intent of Huawei’s approach, but is opposed to forcing the use of a “Performance Mode” by default when a benchmarking application is detected by the device. UL rules require a device to run the benchmark as if it were any other application. Huawei respects consumers’ right to choose what to do with their devices. Therefore, Huawei will provide users with open access to “Performance Mode” in EMUI 9.0, so that the user can choose when to use the maximum power of their device. Huawei and UL have also discussed current common benchmark testing methodologies in general. UL and Huawei would like to participate in an industry movement to develop benchmarking standards that best serve the needs of manufacturers, press, and consumers. To prevent confusion around current benchmarking results, after discussion, UL and Huawei have temporarily delisted the benchmark scores of a range of Huawei devices, and will reinstate them after Huawei grants all users of Huawei handsets access to the Performance Mode.

[Ursprünglicher Artikel)
Benchmark-Schummelei ist nichts neues im Googleverse, jetzt hat es Huawei erwischt. Mehrere Smartphones der Chinesen sind aus dem 3DMark verbannt worden. Programmierer UL reagiert damit auf Vorwürfe, die Modelle würden die Benchmark-App erkennen und dann eine höhere Rechenleistung fahren, als für Nutzer im Alltag.

Die bekannte und durchaus akribische Seite Anandtech hatte vor ein paar Tagen den Vorwurf erhoben. Demnach ist die Trickserei bei eigenen Tests von vier Geräten aufgefallen. Betroffen sind das Huawei P20, P20 Pro, sowie das hierzulande nicht erhältliche Nova 3 und auch das brandneue Honor Play. Der Entwickler des Benchmark hat sich nun drei der vier Geräte vorgenommen und die Ergebnisse des offiziellen 3DMark mit einer hauseigenen Version verglichen, bei der die Huawei-Smartphones eben nicht erkennen, das da gerade ein Leistungstest läuft. Die Ergebnisse sind demnach ziemlich eindeutig: Huawei täuscht bis zu 47% mehr Leistung vor, als für User tatsächlich zur Verfügung steht.

Das ist schon ziemlich doof, weil eigentlich total unnötig, wo aktuelle Smartphone-Prozessoren doch mehr als genug Rechenpower bieten. Huawei war gerade erst wegen Werbefotos in den Tech-Schlagzeilen, die angeblich mit einem Smartphone aufgenommen sind, tatsächlich aber von einer vollwertigen DSLR-Kamera gemacht wurden. Gegenüber Anandtech hat sich der Hersteller übrigens so geäußert, dass Benchmarks sowieso nicht die natürliche Nutzung/Leistung von Smartphones wieder geben würden (womit er nicht falsch liegt) und außerdem würden andere chinesische Anbieter das auch machen, weshalb man keine Wähl hätte, als mitzuziehen.

Chart: benchmarks.ul.com​

Diskussion zum Beitrag
(im Forum "Huawei Allgemein")