Spolehlivost benchmarku Quadrant

O benchmarkovacím programu Quadrant patrně řada z nás už někdy slyšela. Velké popularity dosáhl zejména mezi majiteli telefonu Samsung Galaxy S, kde byl v souvislosti s několika různými komunitními řešeními problému „lagů“ pasován mnohými uživateli na pozici jakéhosi jednoznačného a nezpochybnitelného etalonu skutečné rychlosti telefonu. Ten, kdo principy a průběh vzniku těchto řešení sledoval, si ale musel záhy uvědomit, že mnohem spíše než o několikanásobné zrychlení běhu celého telefonu tu jde v nemalé míře o to, že se zkrátka podařilo najít slabinu tohoto benchmarku a vysoké výsledky jsou tak z větší části spíše prostou chybou. Bylo až neuvěřitelné, kolik lidí této iluzi „několikanásobného navýšení výkonu zdarma“ podlehlo. Dnes se k této často až nesmyslné a bezmyšlenkovité honbě za co nejvyšším Quadrant skóre (která navzdory výše zmíněnému není výhradou pouze Galaxy komunity) vyjádřil na svém Twitteru velmi výmluvně s komentářem „All your benchmarks are belong to me“ i Steve Kondik aka Cyanogen zveřejněním tohoto obrázku: V následujících tweetech pak naznačil, že je Quadrant skutečně chybně považován za neomylný, ale lze ho bohužel velice snadno „zmást“. A vysvětlil také, jak tohoto výsledku dosáhl – prostým vytvořením virtuálního souborového systému místo toho, ve kterém Quadrant přístup k souborům běžně testuje. Což je shodou okolností i principem většiny „lagfixů“ pro Galaxy S. Pointa ovšem nemá být taková, že Quadrantu není možné vůbec věřit, nebo že snad lagfixy pro Galaxy S nefungují. Jde tu v mnohem větší míře o to, že Quadrant je zkrátka jen syntetický benchmark a syntetické benchmarky lze v mnoha případech – a mnohdy velice triviálním způsobem – velice snadno „ošálit“ a přimět je k výsledkům vyšším, než jaké odpovídají skutečnosti. Proto je vždy lepší spoléhat se spíše než na výsledky benchmarků raději na praktické zkušenosti a v případě dosažení neobvykle vysokých výsledků se také zamyslet nad tím, zda jsou skutečně reálné. Šílenství kolem výsledků benchmarku Quadrant je toho jen dalším důkazem.