Image Image Image Image

Apple und Motorola sind sauber, der Rest betrügt bei Benchmarks?

Apple und Motorola sind sauber, der Rest betrügt bei Benchmarks?

Auf der Android-Plattform haben Smartphonehersteller wie HTC und Samsung leichte Karten, wenn es um Manipulationen am Betriebssystem geht. Schließlich veröffentlichen sie ihre Geräte mit eigenen ROMs von Android. Dass Samsung auch gerne mal bei Benchmarks mogelt und Ergebnisse mit faulen Tricks verfälscht, war bisher bekannt. Dass man aber wirklich genau hinschauen muss, um überhaupt die fair spielenden Androiden zu finden, ist vielleicht eine kleine Überraschung für weniger misstrauische User.

Eine Tabelle samt Artikel bei AnandTech zeigt, wie problematisch die Lage tatsächlich ist. Bis auf Apple und Motorola konnten die Kollegen keinen OEM identifizieren, der nicht mindestens einmal den trügerischen Turbo betätigte. Bei Motorola ist man sich außerdem nicht sicher, ob nicht in der Vergangenheit ein Device mit besagten Tricks arbeitete. Bei Google Nexus Devices ist aufgrund der Verwendung von Android Open Source Project ROMs der Betrug ausgeschlossen, was auch einige enttäuschende Benchmarks erklären dürfte.

Mobile Prozessoren werden (je nach Governor) mehr oder weniger schnell auf ihre Maximallimits hochgefahren, wenn Last erkannt wird. Aufgrund der Energiespareigenschaften geschieht das allerdings normalerweise nicht so schnell, wie bei den Tricksern mit Benchmarkerkennung. Samsung hat bei bestimmten Modellen des Samsung Galaxy SIV spezifische Benchmarks automatisch als Anlass genommen, sämtliche Kerne unmittelbar zu aktivieren und in den höchsten Status von Spannung und Taktrate zu bringen.

Gleichzeitig wurden bei einigen Samsung-Modellen temporär die thermischen Grenzen angehoben die das System vor Überhitzung schützen, damit der Grafikprozessor seine Dienste besser als bei der Konkurrenz verübt. Diesen zweiten Trick wendete übrigens nur Samsung nachweislich an, die zuerst erwähnten CPU-Optimierungen haben fast alle großen OEMs bei einigen ausgewählten Modellen (meist bei Flaggschiffen) implementiert.

Ein "Y" steht für Betrug

Quelle: Anandtech

Wieso ist das Betrug?

Standardmäßig sollte ein mobiles SoC sich auch in Benchmarksituationen so verhalten, wie es im Alltag der Fall wäre. Mit dem angewendeten Trick wird ein ähnlicher Effekt erreicht, der in Windows Notebooks mit der "Höchstleistung"-Einstellung im Energiemanagement auftritt. Das System läuft metaphorisch gesprochen permanent im höchsten Gang, frisst den Akku binnen kürzester Zeit leer und liefert ein unrealistisches Ergebnis.

Die Entscheidung entspringt laut Anand mit hoher Wahrscheinlichkeit den OEMs, nicht den Chipherstellern. Intel ist eigentlich dafür bekannt, solchen Benchmarkoptimierungen kritisch gegenüberzustehen und sie als unfaire Tricks abzulehnen.

90er-Jahre Nostalgie? Wie sieht denn nun die Zukunft von Benchmarks aus?

Alte Hasen dürften ähnliche Tricks noch aus den 90ern auf PC-Plattformen kennen, wo ähnlich peinliche Tricks offengelegt wurden. So amüsant das auf den ersten Blick doch ist: Wir hätten gerne verlässliche Benchmarks. Selbstverständlich sind die Entwickler von einigen seriösen Benchmarks bereits drauf und dran, den Unsinn einzudämmen und hoffentlich einen Schritt voraus zu sein.

Da die Vorgänge innerhalb des Energiemanagements unter Android recht transparent sind, lässt sich der Spuk relativ leicht identifizieren. Weniger technisch versierte Presseleute werden leider nach wie vor darauf hereinfallen. Aktuell basieren die Tricks primär auf App-Erkennung und folglicher Anpassung der Energierichtlinien, später könnte eine heuristische Methode zum Einsatz kommen, die erheblich schwieriger auszutricksen wäre. Anandtech bleibt mit der hauseigenen Testsuite weiterhin hoffentlich ein bewegliches Ziel, das nicht so leicht von den OEMs veräppelt wird.

 


Übrigens: Wenn Du keine Neuigkeiten, Produkt-Tests oder Artikel von uns verpassen willst, dann folge uns am besten auf Facebook oder Twitter.



Hier kannst Du Deine Meinung loswerden:

  • Romka

    Das sollte schon Jedem klar sein dass Hersteller bei den Benchmarks ihre Geräte auf das Ultimatum Maximum trimmen. Das ist überall so. Genau so wie mit den Verbrauchsangaben der Automobilhersteller. Da kann man immer 10-15% drauf rechnen um den reellen Alltags-verbrauch zu ermitteln.

  • Tom

    Joaaa, so pauschal lässt sich das auf die IT-Branche zum Glück nicht übertragen. 😉
    Da wird wenigstens von einer Handvoll großer Unternehmen der Kodex aufrechterhalten, dabei sind Intel, NVIDIA und die oben erwähnten Saubermänner. Für mich ist das Benchmarkgetweake (vor allem mit den Thermal Limits) völlig armer Beschiss, der letztlich nicht mehr als 10% Boost bringt, dafür aber einen erheblichen Imageschaden.



← Menü öffnen weblogit.net | Home