HTC One (M8): Benchmarktest 3DMark sperrt Device wegen Schummelns

[don_giovanni]

Das HTC One (M8) hat auch mitgemacht: Schummelei bei den Benchmarks ist auch 2014 wieder in und so hat Futuremark das HTC One (M8) kurzerhand aus seinem 3DMark-Ranking entfernt. In dieser Liste finden sich ca. 1000 Geräte, der Test gilt als einer der wichtigsten Benchmarktests überhaupt. HTC verwendet in seinem neuen Flaggschiff Benchmark-Booster, die einen höheren Punktestand bei der Testung generieren, indem sie die Anwendung erkennen und ihr extra CPU-Leistung zuschustern. Benchmark-Schummerleien solcher Art sind u.a. auch von Samsung bekannt, die von Futuremark bezüglich der Modelle Samsung Galaxy S4 und Samsung Galaxy Note 3 verwarnt wurden. Laut Futuremark ist ihr Unternehmens-Ziel, aussagekräftige Testergebnisse über die Leistungsfähigkeit eines Smartphones/Phablets/Tablets zu ermitteln. Die Test-Anwendung muss deshalb vom Device so behandelt werden, wie alle anderen Apps auch. Wenn dies durch technische Modulation des Herstellers absichtlich nicht funktioniert, ist das Ergebnis zwar groß, aber falsch. So wie beim Doping. HTC verteidigte seine Taktik gegenüber Futuremark mit der Aussage, "our engineers optimize in certain scenarios to produce the best possible performance. If someone would like to get around this benchmarking optimization there are ways to do so, but we think most often this will not be the case". Futuremark hat dazu folgendes Statement in einer Pressemitteilung veröffentlicht:

In fact, though the optimization can be enabled and disabled manually by users for other apps, it appears to be automatically and unavoidably enabled when running 3DMark, which makes it impossible to measure the HTC One's real-world performance.
HTC defends its optimizations saying, "Benchmarking tests look to determine maximum performance of the CPU and GPU."
This is a common misconception. The purpose of 3DMark, as with other Futuremark benchmarks, is not to measure maximum performance but to measure real-world performance. To do that, a device must run the benchmark as if it were any other application.
When a device detects 3DMark, and modifies its behaviour as a result, the benchmark scores are no longer accurate and cannot be used to make fair comparisons between devices.

Ihr seht also, es ist einiges faul im Staate Bench(e)mark (Shakespeare-Anspielung). Solange sich viele potentielle Käufer von unsagbar hohen Benchmarks blenden lassen, welche aber durch Fälschungen zustande gekommen sind, werden die Hersteller wohl auch nicht so schnell damit aufhören, ihre Modelle mit einer kleinen "Zusatzsoftware" zu versehen, um in den Tests zu brillieren. Für uns als Konsumenten ist das eigentlich schlicht und ergreifend Beschiss. Doch grade deshalb muss man darüber reden, davon berichten und es nicht unter den Teppich kehren. Da es so gut wie alle Hersteller tun, ist weder HTC noch Samsung oder irgendwer sonst das schwarze Schaf per se, sondern die ganze Branche hat hier ein Problem. Doch wenn keiner den ersten Schritt tut und mit dem Schummeln aufhört, werden wohl auch die anderen nicht so schnell zurückstecken. Auf dem zweiten Bild unten seht ihr einen Vergleich der echten Leistung (blau) mit der Leistung in der erkannten Benchmarking-App (rot). Netter Unterschied, nicht wahr?! Uns bleibt also nur, Benchmark-Ergebnisse wie immer kritisch zu hinterfragen und uns nicht davon blenden zu lassen, dass ein Device 100 Punkte mehr hat als ein anderes.

Pics: androidcommunity.com / anandtech.com
​

[OFFURL="https://www.android-hilfe.de/plauderecke/454827-sammelthread-hersteller-schummeln-bei-antutu-quadrant-co-8.html#post7444597"]Diskussion zum Beitrag[/OFFURL]
(im Forum "Plauderecke")

Weitere Beiträge auf Android-Hilfe.de
Benchmark-Betrug: Kaum ein Hersteller schummelt nicht
HTC One (M8): Kernel Source verfügbar / So aktiviert ihr den High Performance Mode
HTC One (M8): Pressesprecher weist Kritik am "leeren" Logo-Balken zurück

Quellen:
Android Community
Futuremark
AnandTech