Huawei fanget manipulering av målestokker, problemerklæringer som skylder på det kinesiske markedet

Android / Huawei fanget manipulering av målestokker, problemerklæringer som skylder på det kinesiske markedet 8 minutter lest

Huawei benchmark resulterer i private vs offentlige tester med manipulert SoC-kraft.



For noen uker siden dekket vi Huawei bruker et profesjonelt DSLR-kamera i en reklame om deres selfie-evner, og det ser ut til at de bare ikke kan slutte å finne måter å prøve å lure forbrukere på - denne gangen, dens referanser de manipulerer.

Benchmarks er en populær og ( inntil nå?) legitim måte å vise ytelsen til en enhet på - enten CPU, GPU eller systemytelse. Hele poenget med referanser er å gi forbrukerne et nøyaktig resultat av hvordan enheter fungerer under stress.



Dessverre ser det ut til at Huawei har tatt med en 'referansegjenkjenningsmekanisme' i noen av deres nyeste enheter. Hva denne mekanismen egentlig gjør, er å skyve SoC til en mye høyere effektgrense og termisk takhøyde når den oppdager at den blir benchmarked i visse apper - noe som resulterer i mye høyere ytelsespoeng enn brukere normalt ville fått i daglig bruk. Dette er ikke bare uærlig, det er farlig for SoCs levetid, og kan raskt overopphetes en enhet og redusere batteriets levetid.



Huaweis forsvar for denne praksisen kan best oppsummeres som, “ alle andre gjør det også! ” - og dessverre har de faktisk rett. Benchmark juks er ikke noe nytt i det hele tatt - det var voldsomt i PC-scenen for et tiår siden, og det har også vært i mobilscenen en stund.



Ulike enheter ble fjernet fra 3DMark for referansemanipulering.

Exynos-varianten av Samsung Galaxy S4 ble fanget med lignende referanser for juks, og redaktørene for mobilanmeldelsessiden AnandTech oppdaget et stort antall andre smarttelefonleverandører som også manipulerte referansedata. Dette førte til at en rekke enheter, som Galaxy S4, Galaxy Note 3, HTC One og mange andre var avlistet fra 3DMark-databasen.

Selv om de fleste produsenter opphørte oppførselen etter å ha blitt kalt ut, fortsatte noen få - for eksempel fortsatte OnePlus å jukse i populære referanser som GeekBench, men har tilsynelatende stoppet praksisen siden OnePlus 5T - som faktisk er en flott enhet og er svært populær i modding- og utviklingssamfunnet, så kanskje OnePlus følte at de ikke gjorde det trenge å manipulere referansedata.



Dessverre ser det ut til at Huawei henter seg der andre enhetsleverandører har sluttet, ettersom det er bekreftede rapporter om Huawei som har manipulert referanser med enheter, inkludert Huawei P20, Huawei P20 Pro og Honor Play. I utgangspunktet hadde Huawei P20s ytelse gått tilbake sammenlignet med Huawei Mate 10 Pro - og på den tiden sa Huawei at det var en “ fastvareproblem ”- en direkte dristig løgn, som det faktisk var på grunn av den ovennevnte referansedeteksjonsmekanismen, som utløser en overlegent kraftgrense for SoC.

Ikke bare er dette dårlig for SoC selv, da den samlede effektiviteten til SoC avtar når dette er gjort, fordi SoC blir presset godt utenfor av det vanlige driftsvinduet ( Tenk deg å overklokke CPU-en din så høyt som mulig uten termisk fett) . Dette er imidlertid også dårlig for marked seg selv.

For en får det SoC til å se dårlig ut, som om det behov å manipulere referansedataene for å være verdt å selge. For det andre tviler det på det kinesiske smarttelefonmarkedet - som allerede er full av imitasjoner, kloner og lyssky praksis. Videre er Huaweis referanseoppførsel kanskje den mest alvorlige å se ennå, da det virkelig er en gigantisk forskjell i ytelsesresultater med referansemekanismen på, sammenlignet med når den er av. Så mye at AnandTech bemerket at forskjellene i offentlig tilgjengelige referanseresultater og deres egne interne tester var ' helt forbløffende ”.

Huawei har svart på å bli funnet ut, og som vi sa tidligere, var deres svar i utgangspunktet “ alle andre gjør det også ”. Det de bokstavelig talt sa ( sitat fra Dr. Wang Chenglu, programleder i Huawei's Consumer Business Group) var ' andre gjør det samme, får høy score, og Huawei kan ikke være stille. Huawei ønsker å komme sammen med andre i Kina for å finne den beste verifiseringsverdien for brukeropplevelse. ”

Dr. Wang pekte også på andre produsenter med villedende referansetall, og nevnte en ikke-navngitt populær smarttelefonprodusent i Kina som den største skyldige. I følge Dr. Wang har referansefusk blitt 'vanlig praksis i Kina', og mens Huawei ønsker å 'åpne opp' for forbrukerne, har de problemer når konkurrenter 'kontinuerlig legger ut urealistiske poeng.' Huawei prøver å møte sin store kinesiske konkurranse, en oppgave som tilsynelatende blir vanskelig når andre produsenter produserer urealistiske poengsum.

For å oppsummere, Huawei

  1. Innrømmer at de manipulerer referansetall
  2. Innrømmer at alle andre i det kinesiske telefonmarkedet gjør det
  3. Har ingen planer om å stoppe på grunn av # 2.

Hvordan kan noen tillit det kinesiske telefonmarkedet etter denne typen ting? Uansett uttalte Huawei at selskapet vil “ sikre at fremtidige referansedata uavhengig verifiseres av tredjeparter ”.

Huawei sendte et fullstendig svar til XDA:

“Huawei prioriterer alltid brukeropplevelsen i stedet for å oppnå høye referansepoeng - spesielt siden det ikke er en direkte sammenheng mellom smarttelefonindekser og brukeropplevelser. Huawei-smarttelefoner bruker avanserte teknologier som AI for å optimalisere ytelsen til maskinvare, inkludert CPU, GPU og NPU.

Når noen lanserer en fotograferingsapp eller spiller et grafisk intensivt spill, skaper Huaweis intelligente programvare en jevn og stabil brukeropplevelse ved å bruke maskinvarens fulle muligheter, samtidig som enhetens temperatur og energieffektivitet administreres. For applikasjoner som ikke er like strømkrevende som å surfe på nettet, vil den bare tildele ressursene som er nødvendige for å levere ytelsen du trenger.

Når Huaweis programvare gjenkjenner en benchmarking-applikasjon, tilpasser den seg i normale referansescenarier intelligent til 'Performance Mode' og gir optimal ytelse. Huawei planlegger å gi brukerne tilgang til 'Performance Mode' slik at de kan bruke maksimal effekt på enheten når de trenger det.

Huawei - som bransjeleder - er villig til å samarbeide med partnere for å finne de beste standardene for benchmarking som nøyaktig kan evaluere brukeropplevelsen. ”

I alle fall, ekte benchmarks løp forbi AnandTech testet Huawei P20, P20 Pro og Honor Play - og alle enhetene utført på samme måte, fordi de alle har samme HiSilicon Kirin 970 SoC - men den virkelige ytelsen til hver enhet er begrenset av de termiske grensene, ettersom hver enhet har en forskjellig chassis og kjøledesign. Huawei P20 Pro har de beste termene, så den fungerer bedre i en ekte ytelsestilstand.

Redaktøren av AnandTech , Andrei Frumusanu, hadde følgende å si:

“Tidligere har vi sett leverandører faktisk øke SoC-frekvensene, eller låse dem til maksimale tilstander, og øke ytelsen utover det som vanligvis er tilgjengelig for generiske applikasjoner. Det Huawei i stedet gjør er å øke referansepoengene ved å komme til det fra den andre retningen - referanseprogrammene er de eneste brukssakene der SoC faktisk utfører sine annonserte hastigheter. I mellomtiden strupes alle andre virkelige applikasjoner i betydelig grad under denne tilstanden på grunn av maskinvarens termiske begrensninger. Det vi ender opp med uhindret ytelse er kanskje den 'sanne' formen for en ubegrenset SoC, selv om dette er helt akademisk sammenlignet med hva brukerne faktisk opplever. '

Grafene deres viser at Huaweis nyeste telefoner allerede når 3,5-4,4W i sin virkelige ytelsestilstand, mens 3,5W TDP er det maksimale beløpet som kan opprettholdes. På den annen side går telefonen i overdrive med TDP når de utfører de offentlig tilgjengelige referanseverdiene, med kraftstall som går over 6W og når en topp på 8,5W. Som bemerket av AnandTech, utløser disse tallene raskt en overopphetingsmelding på enheten, noe som indikerer at de termiske grensene ikke samsvarer med programvarens forventninger.

Det som kan tas fra denne situasjonen er at de virkelige ytelsestallene ikke er stabile, ettersom de avhenger av telefonens temperatur. Huawei blokkerer ikke GPU-en fra å nå sin topp GPU-frekvenstilstand. Standard oppførsel er faktisk en 'hard termisk strupemekanisme [...] som vil prøve å opprettholde betydelig lavere SoC temperaturnivåer og det totale strømforbruket.'

Telefonenes normale modus kan nå de samme toppnivåene for strømforbruk under GPU-referansene som de som er lagt ut av de ubegrensede variantene. Imidlertid faller disse tallene raskt betydelig tilbake, og AnandTech bemerker at telefonen i noen tilfeller strupes ned til 2,2 W, noe som har den effekten at ytelsen reduseres betydelig.

Publikasjonen slår fast at referanseindeksen for juks har bare blitt introdusert i årets enheter. Telefoner som Huawei Mate 9 og Huawei P10 påvirkes ikke, og det ser ut til at bare EMUI 8.0 og nyere enheter er berørt. AnandTech ble også fortalt av Huawei at dette var 'utelukkende en programvareimplementering', som bekreftet publikasjonens funn.

AnandTech publiserte sanne tall for GPU-ytelse for de berørte Kirin 970-drevne telefonene, og konklusjonen er at Huawei er det betydelig bak konkurrentene i både GPU-ytelse og effektivitet .

Publikasjonen la også ut sammenligningsdiagrammer for Kirin 970 og Kirin 960-drevne Huawei-enheter. Grafene viser at Huaweis strømbegrensningsjusteringer faktisk er bedre for brukeropplevelsen ettersom de demper problemet med høyere strømforbruk. AnandTechs testing av Kirin 960 viste at den hadde 'forferdelige GPU-effektegenskaper', mens Kirin 970-drevne enheter har en ny streng reguleringsmekanisme for å få ned strømforbruket og temperaturene.

AnandTech nevnte også at den nye strupepolitikken er fornuftig når vi vurderer det faktum at både Kirin 960 og Kirin 970 viser maktuttak som er mye over deres bærekraftige nivå for deres respektive formfaktorer.

Selv om Huawei ikke nødvendigvis har gjort noe galt ved å innføre en ny strupemekanisme, har de absolutt krysset over jukseterskelen ved å utelukke populære referanseprogrammer via en hvitliste, som i dette tilfellet er referert til som referansefusk.

UL som kjøpte Futuremark, selskapet bak PCMark og 3DMark, har fjernet Huawei P20, Huawei P20 Pro, Huawei Nova 3 og Honor Play fra 3DMark.

Selskapet har bekreftet referanseutro på Huawei P20 Pro, Huawei Nova 3 og Honor Play. På bakgrunn av AnandTechs testing og rapportering har den også fjernet standarden Huawei P20. Brukere vil ikke lenger kunne se referanseresultatene til de berørte telefonene, ettersom selskapet ikke ønsker å være vert for lurte referansepoeng.

Selskapet fant ut at score fra den offentlige 3DMark-appen var opptil 47% høyere enn score fra den private appen (som ikke er tilgjengelig for publikum), til tross for at testene er identiske.

I kunngjøringen la UL til at det var lykkelig å se Huawei forplikte seg til å ta en mer gjennomsiktig tilnærming i fremtiden. UL mener at valgfrie ytelsesmoduser som kan angis av brukeren er tillatt i henhold til gjeldende regler så lenge de er deaktivert som standard. Selskapet uttaler: 'En enhet må kjøre referanseverdien som om det var noen annen applikasjon.'

Avslutningsvis bør ikke alle Huawei GPU-ytelsesindekser som ble tatt ved bruk av offentlig tilgjengelige referanser, tas som en representasjon av den faktiske ytelsen.

Huawei nådde UL for å diskutere de beste metodene for referansetesting, og sendte en uttalelse:

“Huawei og UL (skaperne av 3DMark) har hatt omfattende diskusjoner om benchmarking-praksis denne uken, og har nådd en positiv avtale om de neste trinnene i samarbeidet.

I diskusjonen forklarte Huawei at smarttelefonene bruker en kunstig intelligent ressursplanleggingsmekanisme. Fordi forskjellige scenarier har forskjellige ressursbehov, utnytter de nyeste Huawei-håndsettene innovative teknologier som kunstig intelligens for å optimalisere ressurstildelingen på en måte slik at maskinvaren kan demonstrere sine evner i full grad, samtidig som de oppfyller brukernes krav i alle scenarier.

UL forstår hensikten med Huaweis tilnærming, men er imot å tvinge bruken av en 'Performance Mode' som standard når en benchmarking-applikasjon oppdages av enheten. UL-regler krever at en enhet kjører referanseverdien som om det var et annet program.

Huawei respekterer forbrukernes rett til å velge hva de skal gjøre med enhetene sine. Derfor vil Huawei gi brukerne åpen tilgang til 'Performance Mode' i EMUI 9.0, slik at brukeren kan velge når den skal bruke maksimal effekt på enheten.

Huawei og UL har også diskutert gjeldende vanlige referansetestmetoder generelt. UL og Huawei vil delta i en bransjebevegelse for å utvikle standarder for benchmarking som best tjener behovene til produsenter, presse og forbrukere.

For å forhindre forvirring rundt nåværende benchmarking-resultater, har UL og Huawei etter diskusjon midlertidig fjernet referansepoengene for en rekke Huawei-enheter, og vil gjeninnføre dem etter at Huawei gir alle brukere av Huawei-håndsett tilgang til ytelsesmodus. '

Merker Huawei