Benchmark verschiedener ROMs für das Defy

  • 96 Antworten
  • Letztes Antwortdatum
D

Defier

Dauer-User
232
Motivation

Immer wieder ist hier im Forum über die verschiedenen Custom-ROMs für das Defy zu lesen, dieses oder jenes ROM würde weicher, geschmeidiger, schneller, langsamer, ruckeliger, flüssiger, stockender oder sonstwie anders als bei einem anderen ROM laufen. Um das Verhalten etwas objektivierbarer zu machen habe ich versucht die tatsächliche Geschwindigkeit zu messen, und zwar unter reproduzierbaren Bedingungen. Wer hierzu mit eigenen Ergebnissen in anderen Konfigurationen o.ä. beteiligen möchte - sehr gerne.

Ich möchte allerdings darauf hinweisen, dass ein sorgfältiges Durchführen dieser Benchmarks nicht wenig Arbeit ist. Ich habe für die ersten Versuche hier mit 5 ROMs insgesamt gut 4 Stunden aufgewendet.

Testumgebung

Hardware: Motorola Defy MB525 mit grüner Linse (keine Modifikationen der Taktfrquenz o.ä. bis auf das, was das ROM macht; Ausnahme: Die auf CM-Niveau übertaktete Stock-ROM)
Benchmark: PassMark PerformanceTest Mobile, Version 1.0.3000

Vorgehensweise

1. Akku auf über 80% laden, Gerät vom Kabel trennen und ins Recovery booten
2. Fullwipe
2. das zu testende ROM flashen (sonst nichts, keine gapps o.ä.)
4. das zu testende ROM booten
5. Alle Verbindungen abschalten (Flugmodus, WLAN aus, Bluetooth aus, GPS aus)
6. Installation der Benchmark-Anwendung über einen Dateimanager von der SD-Karte (OI File Manager)
7. Reboot
8. 60 Sekunden warten
9. Benchmark starten, warten (nichts anfassen während der Benchmark läuft)
10. Resultate notieren

Zusammenfassung der Ergebnisse

Code: 
Kernel | ROM                    | System | CPU | Disk | Memory | 2D    | 3D

Froyo    StockROM-34.177.3        735      1119  1403   1068     845     260
Froyo    StockROM-34.177.3@1Ghz   806      1407  1348   1194     1043    261

Froyo    CM7.1-stable             802      1392  1494   1233     967     262
Froyo    CM7.2-stable             802      1389  1537   1222     924     260

Froyo    CM7-NIGHTLY-120727m      808      1365  1499   1239     931     267
Froyo    CM7-NIGHTLY-120809m      803      1400  1369   1238     942     265
Froyo    CM7-NIGHTLY-120907m      810      1394  1467   1240     934     266
Froyo    CM7-NIGHTLY-121025m      811      1387  1487   1235     918     268
Froyo    CM7-NIGHTLY-121107m      811      1392  1363   1237     919     273
Froyo    CM7-NIGHTLY-130413m      809      1386  1369   1246     915     270

Froyo    CM7-NIGHTLY-130301o      804      1393  1387   1239     940     265

Froyo    CM9-NIGHTLY-120714e      816      1395  1403   1185     853     279
Froyo?   CM9-NIGHTLY-121116e      822      1410  1464   1193     871     282

Froyo    CM10-NIGHTLY-120804q     621      1327  1368   1157     790     170
Froyo    CM10-NIGHTLY-120808q     633      1322  1386   1150     815     175
Froyo    CM10-NIGHTLY-120810q     630      1323  1419   1168     803     173
Froyo    CM10-NIGHTLY-120817q     754      1290  1453   1149     810     252
Froyo    CM10-NIGHTLY-120822q     754      1315  1412   1145     795     255
Froyo    CM10-NIGHTLY-120825q     752      1327  1345   1159     803     249
Froyo    CM10-NIGHTLY-120903q     622      1332  1440   1159     792     170
Froyo    CM10-NIGHTLY-120905q     612      1306  1305   1147     788     168
Froyo    CM10-NIGHTLY-120912q     621      1331  1317   1170     839     169
Custom   CM10-NIGHTLY-121018q4    797      1298  1555   1153     839     278
Custom   CM10-NIGHTLY-121102q     806      1314  1533   1159     864     282
Custom   CM10-NIGHTLY-121102q1    804      1310  1441   1165     860     281
Custom   CM10-NIGHTLY-121109q     805      1318  1525   1159     843     282
Custom   CM10-NIGHTLY-121118q     784      1302  1253   1176     831     280
Custom   CM10-NIGHTLY-130110q     637       633  1477   1180     835     281

Froyo    CM10-NIGHTLY-120806e     753      1323  1465   1167     789     247
Froyo    CM10-NIGHTLY-120812e     754      1318  1418   1163     780     250
Froyo    CM10-NIGHTLY-120904e     620      1323  1378   1153     783     171

Custom   CM10.1-NIGHTLY-130526q   641       655  1766   1174     841     271

Froyo    JellyBeanCannon 2.0      668      1332  8328   1181     823     173
Froyo    JellyBeanCannon 3.0      748      1277  1410   1130     795     252
Froyo    JellyBeanCannon 5.0      614      1308  1342   1150     800     168
Custom   JellyBeanCannon 6.2.1    806      1303  1488   1158     850     283

Froyo    MIUI-Pikachu-2.4.20b     869      1380  9133   1236     966     264

Froyo    CM7-WhiteRabbit-1.6      858      1402  8803   1222     965     258
Froyo    CM7-WhiteRabbit-1.8      834      1393  1473   1232     938     283

Froyo    AOKP-JB-20120901         627      1317  1376   1168     800     174
Custom   Moto IceGun 2.0.2        803      1302  1605   1160     846     281



Probleme und Hinweise
  • Bei den Nightly Builds stehen die Suffixes jeweils für die Maintainer: Maniac103 (m), Quarx2k (q), Epsylon (e) und Nightly-Official(o)
  • Eine Zahl hinter dem Suffix steht für die Nummer des Updates, sofern ein aktualisierter Build getestet wurde.
  • Während der Benchmarks konnte kein merklicher Anstieg der Gehäusetemperatur festgestellt werden, zwischen den Durchläufen gab es für das Gerät auch immer eine Verschnaufpause von mindestens 30 Sekunden.
  • Es gibt kleinere Schwankungen zwischen den einzelnen Durchläufen mit einem ROM. Ich habe jeden Benchmark daher 5 Mal pro ROM ausgeführt und für jeden der Werte den Median genommen. Zwischen den Durchläufen wurde kein Reboot durchgeführt. (Auf Wunsch kann ich auch die genauen Messwerte hier bereitstellen, leider ist der Upload von Dateien im OpenDocument-Format nicht gestattet.)



Beobachtungen und Kommentare (Stand: 05.08.2012)
  • Wie erwartet gab es keine nennenswerten Schwankungen bei der gemessenen Rechenleistung der CPU.
  • Die Werte für die Disk-Performance würde ich mit Skepsis genießen - sie scheinen sich zwsichen den Durchläufen stets zu verbessern. Ich vermute da wird ein Caching-Mechanismus aktiv und verfälscht so die Werte, daher ist auch der Median wenig aussagekräftig. Das war allerdings der einzige Sub-Benchmark, bei dem ein solcher Lerneffekt aufgetreten ist.
  • Die neueren ROMs der CM7-Serie sind in nahezu jeder Disziplin mit Abstand schneller als CM9 und CM10, allen voran in der 2D-Performance. Einzig bei der 3D-Performance kann CM9 einen minimalen Vorteil verbuchen.
  • CM7.2 scheint sich bei der 2D-Performance gegenüber CM7.1 verschlechtert zu haben, auch die aktuelle Nightly konnte diesen Rückstand noch nicht aufholen.
  • CM10 kann derzeit nicht an die Performance von CM9 oder gar CM7 herankommen, speziell nicht im 3D-Bereich. Die subjektiv "weichere" Performance von JB ist eher auf "Project Butter" zurückzufahren und weniger auf Verbesserungen in der ROM. Wir können aber trotzdem optimistisch sein, dass CM10 bald das Niveau von CM9 erreichen wird.
 
Zuletzt bearbeitet:
  • Danke
Reaktionen: bitboy0, Troya, ttarzan und 11 andere
Genialer Thread :D
Ich verstehe nicht, warum CM10 in der 3D Performance so wenig Punkte hat? Bei mir laufen jegliche Spiele besser als unter CM9.
So einen starken Placebo Effekt kann ich mir kaum vorstellen :D
 
Zuletzt bearbeitet:
Dafür sehe ich ein paar mögliche Erklärungen:
- der hier verwendete 3D-Benchmark ist nicht repräsentativ für die 3D-Performance der Spiele, die du spielst.
- es ist ein Problem, das nur mit der von mir gemessenen Nightly vom 4.8 auftritt und die Werte in früheren Nightlies wären besser (welches CM10 verwendest du denn?)
- du hattest CM9 und CM10 mit unterschiedlichen Einstellungen (Taktung, Spannung usw.) der CPU bzw. GPU verwendet.
- auf deinem CM9 laufen im Hintergrund mehr / andere Dienste, die in deinem aktuellen CM10 nicht (mehr) laufen.
- du verwendest einen anderen Kernel.
 
Habe paar andere werte bekommen :)
system 770
cpu tests 1603
memory tests 1217
2d graphics tests 1010
3d graphics tests 260
 
defy+++ schrieb:
Habe paar andere werte bekommen :)
system 770
cpu tests 1603
memory tests 1217
2d graphics tests 1010
3d graphics tests 260
Zum Vergrößern anklicken....

Interessant!

Hast du auch 5 Durchläufe gemacht und dann für jeden Wert jeweils den Median genommen und sonst auch nichts verändert am Testaufbau? Oder hast du es in deiner "Alltagsinstallation" durchgeführt inklusive der Übertaktung auf 1,25GHz wie in deiner Signatur vermerkt? (Von den Werten her würde ich eher auf letzteres schließen.)
 
ja...hab es auf 1,25 Ghz werde morgen alles mit den standart einstellungen testen.
MFG
 
Update: Habe die letzten beiden Nightlies vom 6.8. (Epsylon) und 8.8. (Quarx2k) hinzugenommen. Quarx2k konnte leicht zulegen. Die ROM von Epsylon hat eine fast durchweg bessere Performance als die ROMs von Quarx2k, speziell bei der 3D-Leistung - nur im 2D-Bereich ist sie minimal langsamer als die von Quarx2k.

Insgesamt ist noch keine der CM10-ROMs auf dem Niveau von CM7 - sie erreichen noch nicht einmal die Performance der mit 800Mhz laufenden Stock-ROM. Aber in ein oder zwei Monaten sieht die Welt bestimmt ganz anders aus.;)
 
Danke für den Benchmarkvergleich! Werde jetzt also bei CM7 bleiben. Ich als Laie habe eh nicht gemerkt, was an Android 4.X besser sein soll als an 2.3. Solang alle Apps, die ich nutze, auch unter 2.3 laufen, sehe ich nun absolut keinen Grund mehr überhaupt upzudaten, wenn es nicht mal Performance-Gründe dafür gibt.

Bitte bleib weiter am Ball Defier!
 
Rein von der Performance im Benchmark her hast du sicherlich Recht - da hat Android 4.x noch nicht viel mehr zu bieten. Durch "Project Butter" wird die subjektiv wahrnehmbare Geschwindigkeit aber höher, das schlägt sich aber offenbar noch nicht in dem Benchmark wider - wie denn auch, er misst ja nur die Geschwindigkeit einer einzelnen, unter Android ausgeführten Anwendung.

Interessant finde ich auch, dass Android 4.x um einiges mehr an Arbeitsspeicher konsumiert:

https://www.android-hilfe.de/forum/...ghtly-builds.270817-page-46.html#post-3857988

Dieses Verhalten wird sich durch neuere Builds vermutlich kaum ändern da das eben schon vom AOSP von Google kommt. Wer also hauptsächlich ein "Single-Tasker" ist und eine große Anwendung (beispielsweise eine Navi-Software) ausführt, der ist mit Android 2.3.x sicherlich nicht falsch beraten: Der Software steht mehr Arbeitsspeicher zur Verfügung und auch die 2D/3D Performance ist derzeit besser.

Android 4 bietet schon viele neue Features, die einen Umstieg rechtfertigen könnten, etwa die verbesserte Spracheingabe, GoogleNow (wer's braucht..) oder die Systemverschlüsselung - im Port für das Defy funktioniert letztere allerdings noch nicht. Auch viele der Standardapps wie der Kalender, das Telefonbuch usw. wurden an der einen oder anderen Stelle etwas verbessert.

Wie man am letzten Stand von CM9 und an der 3D-Performance im Build von Epsylon sieht ist beim CM10-Port für das Defy durchaus noch viel Potenzial für Performance-Verbesserungen. Bei der Sache mit dem Speicherverbrauch bin ich jedoch eher skeptisch. Es gibt ja auch einen Grund warum ältere Geräte mit 192MB oder 256MB RAM grundsätzlich als Android4-inkompatibel eingestuft werden.
 
Zuletzt bearbeitet:
schon mit 512 MB RAM ist das Defy die ganze Zeit am Limit ... muss ständig irgendwas aus dem Speicher schmeißen um arbeiten zu können und das weggeworfene dann auch gleich wieder neu laden und was anderes wegwerfen ...

Anwendungen wie Chrome oder Firefox laufen zwar, aber nur wenn man drauf achtet nicht zu viel anderes als Service zu haben ...

Ich hab deswegen jetzt Opera-Mini laufen ... ist halt viel schlanker.

Wir werden sicher nicht die gleichen "Nutzererlebnisse" erwarten können wie die Besitzer einer aktuellen HW mit Quadcore und 1GB RAM ... aber viel mehr als Moto uns gönnen wollte!

Auch ohne den Test hier hat man bei den letzten 3 Versionen ständig eine Verbesserung bemerkt ... läuft runder, man wartet nicht mehr immer SO lange ...

gruß
 
Das wären durchaus gute Werte (2D ist allerdings schlechter geworden im Vergleich zur letzten) - ich werde es versuchen selbst nachzuvollziehen, aber heute nimmer. :)
 
  • Danke
Reaktionen: Android94
Benchmarks hin oder her, ich hab jetzt CM9 und CM10 zusammen fast 3 Monate im Alltagseinsatz gehabt und war nach Rückkehr zu CM7 entsetzt wie flüssig letzteres im Vergleich läuft.

Zuerst war ich, ohne ins Detail gehen zu wollen, von den vielen kleinen Verbesserungen total begeistert. Andere lieb gewonnene Features vom CM7 hab ich allerdings auch sehr vermisst.

Was mich jedoch letztendlich wieder zu CM7 zurückgetrieben hat ist die teilweise wirklich unterirdische Performance von CM9/10. Es ruckelt vom Lockscreen über den Launcher bis hin zu den Apps einfach alles, nicht immer aber sehr oft. Je nach dem wie beschäftigt der Droide gerade war konnte selbst das Einschalten in Extremfällen einige Sekunden dauern, z.B. während einem TitaniumBackup. Außerdem merkt man den erhöhten Speicherbedarf, bzw. die neue Speicherverwaltung enorm. Der Launcher wurde des öfteren aus dem Speicher geworfen und selbst mit Hacks wie dem Supercharger konnte ich es nicht ganz verhindern.

Kurzum mein Droide mit nächtlicher gebauter Software hat mich des öfteren im Stich gelassen als ich mal schnell was nachschauen wollte oder mal schnell ein Foto machen wollte. Es war einfach zu träge.

Man versucht es zu verdrängen solang man CM9/10 benutzt, geblendet von einigen netten Gimmicks. Aber sobald man wieder zu CM7 wechselt ist man wirklich entsetzt um wie viel flüssiger es läuft.
Die neuen Android-Versionen sind einfach nicht für so schwachbrüstige Hardware gemacht, sondern für Mid- bis Highend Geräte.
 
  • Danke
Reaktionen: 79910
buergi schrieb:
Benchmarks hin oder her, ich hab jetzt CM9 und CM10 zusammen fast 3 Monate im Alltagseinsatz gehabt und war nach Rückkehr zu CM7 entsetzt wie flüssig letzteres im Vergleich läuft.

Zuerst war ich, ohne ins Detail gehen zu wollen, von den vielen kleinen Verbesserungen total begeistert. Andere lieb gewonnene Features vom CM7 hab ich allerdings auch sehr vermisst.

Was mich jedoch letztendlich wieder zu CM7 zurückgetrieben hat ist die teilweise wirklich unterirdische Performance von CM9/10. Es ruckelt vom Lockscreen über den Launcher bis hin zu den Apps einfach alles, nicht immer aber sehr oft. Je nach dem wie beschäftigt der Droide gerade war konnte selbst das Einschalten in Extremfällen einige Sekunden dauern, z.B. während einem TitaniumBackup. Außerdem merkt man den erhöhten Speicherbedarf, bzw. die neue Speicherverwaltung enorm. Der Launcher wurde des öfteren aus dem Speicher geworfen und selbst mit Hacks wie dem Supercharger konnte ich es nicht ganz verhindern.

Kurzum mein Droide mit nächtlicher gebauter Software hat mich des öfteren im Stich gelassen als ich mal schnell was nachschauen wollte oder mal schnell ein Foto machen wollte. Es war einfach zu träge.

Man versucht es zu verdrängen solang man CM9/10 benutzt, geblendet von einigen netten Gimmicks. Aber sobald man wieder zu CM7 wechselt ist man wirklich entsetzt um wie viel flüssiger es läuft.
Die neuen Android-Versionen sind einfach nicht für so schwachbrüstige Hardware gemacht, sondern für Mid- bis Highend Geräte.
Zum Vergrößern anklicken....

Kann ich genau so bestätigen
CM10 macht spaß wenn es läuft
Nur tut es dass leider nicht immer
Oft hängt das komplette system und einige Apps bringen FC's darüber mag man ja hinwegsehen mit der tollen UI und den schöneren apps(z.B. Youtube)
Doch wer mit seinem Handy etwas mehr als nur rumspielen will kommt mit CM7 besser klar
 
Update: JellyBean Cannon 3.0 und die Quarx2k vom 22.8 sind jetzt auch drin.

Android94 schrieb:
Defier, hättest du vielleicht Zeit und Nerven, die neueste JellyBean Cannon zu testen?
Vielen Dank :)

https://www.android-hilfe.de/forum/...1-jellybeancannon-by-defy.280930-page-19.html

EDIT: Ich habe es soeben selbst gemacht. Meine Ergebnisse:

System: 690
CPU: 1363
Disk: 1571
Memory: 1112
2D Grafik: 782
3D Grafik: 275
Zum Vergrößern anklicken....

Hast du auch 5 Messungen gemacht und den Median genommen? Meine Ergebnisse weichen ganz leicht ab, ist aber vielleicht auch nur die Messtoleranz.
 
Update: Die Nightly von Quarx2k vom 25.8 ist jetzt auch dabei.
 
Miui wäre auch noch interessant Pikachu z.B
 
steveletack schrieb:
Miui wäre auch noch interessant Pikachu z.B
Zum Vergrößern anklicken....

Ist jetzt auch mit drinne :) In dem Benchmark hat es eine sehr gute Performance und liegt auf dem Level von CM7.1
 
  • Danke
Reaktionen: steveletack
Welche Benchmark-App wird den genutzt?
 
Du musst dich einloggen oder registrieren, um hier zu antworten.

Ähnliche Themen

P
Android 4.4 Kitkat for Defy/Defy+ voll funktions fähige ROM Probleme und Lösung
  • pseudodeed
Antworten
2
Aufrufe
4.072
pseudodeed
P
evilware666
Defy merkt sich Einstellung nicht.
  • evilware666
Antworten
1
Aufrufe
1.949
Cua
Cua
V
Soft bricked Defy reaktiviert, Daten aus TWRP-Backup wiederherstellen
  • villeneuve
Antworten
0
Aufrufe
2.096
villeneuve
V
Zurück
Oben Unten