Samsung en HTC manipuleren benchmarks

[iRockabizzydilly]

Hardwareprestaties worden objectief gemeten via benchmarks. Maar wat als smartphonefabrikanten die resultaten proberen te manipuleren?

http://www.zdnet.be/nieuws/150836/samsu ... esultaten/

[Mathy]

What's new? nVidia manipuleert ook hun drivers om benchmarks beter te laten werken... Natuurlijk manipuleren ze ook drivers om bepaalde games beter te laten werken, dat is iets wat met de smartphones niet gebeurd denk ik

[iRockabizzydilly]

Dus die redenering doorgetrokken: iedere producent doet het?

[Jack Daniels]

Zelfs auto constructeurs doen het. Stond onlangs artikel in de krant. Ging er over dat ze het verbruik van hun autos weergaven door testen uit te voeren in onrealistische omstandigheden.

[ Post made via mobile device ]

[iRockabizzydilly]

Goed ja verbruik en uitstoot bij wagens, maar da's nog anders als prestaties?

Da's beetje vergelijken van topsnelheid van auto versus topsnelheid van toestel en dan uitstoot van auto en productievervuiling van toestel, verbruik van auto versus batterijcapaciteit van toestel... enzoverder. Bijkomend, da's dan liegen over real life resultaten, maar die zijn direct controleerbaar als een onafhankelijke instantie of dergelijke de tests doet. Als men code bewust gaat inbouwen louter en alleen om te liegen en om systematisch resultaten te verbeteren bij iedereen die de tests uitvoert, is er maar relatief weinig controlemechanisme meer over en gaan ze precies toch stapje verder. Dit maakt eigenlijk die benchmarktests compleet nutteloos en da's nochtans hun bedoeling niet.

Enfin noem het wat je wil, maar ik had het eigenlijk niet verwacht, was dus eigenlijk echt verbaasd.

Ik geloof er trouwens niet in dat echt elke smartphone fabrikant zich hierin laat meeslepen.

[Mathy]

Natuurlijk doet iedereen het. Goed voorbeeld is inderdaad wagen-uitstoot. Mijn vrouw hare auto (hybride) heeft 4 standen: elektrisch, Eco, Power of automatisch wisselen tussen de 3. Als ze die testen doen in de Eco-stand (=optrekken als een slak) en ze zetten dat daar met een sterreke bij, voldoen ze aan die en dat regelgeving, maar in de praktijk start die auto op in automatisch en rijd je dus niet zo ecologisch.

[Mathy]

Denk je dat (eender welke) producent een product zou optimaliseren voor eender welke test als daar niets mee te winnen valt? Bij een auto is het deels een wettelijke vereiste om hem te mogen verkopen, deels een verkoopsargument (kijk eens hoe zuinig!). Bij een smartphone is een benchmark puur een verkoopsargument (kijk eens hoe snel! Kijk eens wat een batterijduur!) en geen wettelijke vereiste. Als ze bij een smartphone bijvoorbeeld als wettelijke vereiste een minimum batterijduur van XXX dagen zouden opgeven (waar ongetwijfeld ook "statistiek" bij te pas zou komen), wat is dan nog het verschil?

In beide gevallen is het oplichterij want het is niet datgene wat de verbruiker eerlijkheidshalve kan verwachten bij normaal gebruik.

Overigens, ik ben mij daar als consument ter dege van bewust als ik (eender welk) product koop. Ik verwacht bijvoorbeeld bij een auto dat hij mij goed prestaties levert. Als hij daarbij een halve liter meer verbruikt dan wat in de boekskes staat zal het mij worst wezen. Moest hij daarvoor 10l meer verbruiken, het zou wat anders wezen natuurlijk. In beide gevallen word ik opgelicht maar bij de laatste zal ik over mijn toeren zijn, bij de eerste niet. Maar goed, daar dienen testritten voor en gelukkig zijn zowat alle wagens tegenwoordig uitgerust met een (redelijk betrouwbare) verbruiksmeter.

EDIT: hmm, is hier nu een bericht tussenuit verwijderd terwijl ik aan het typen was of ben ik nu aan het ijlen? Indien het eerste heb ik een nadeel van het niet-laatste-bericht-quoten-beleid gevonden. Indien het laatste moet ik dringend wat frisse lucht opzoeken, wat moeilijk is bij deze temperaturen