NPU paaiškino IT pirkėjams: ką "TOPS" numeriai reiškia realiame gyvenime

NPU darbas yra efektyviai tvarkyti bendrą PG darbo apkrovos: mažas latentinis, ilgalaikis pralaidumas, ir minimalios galios atkreipti. Viešųjų pirkimų srityje NPU yra "veiksmingumo akceleratorius". Gerai funkcionuojantis akumuliatorius gali ilgiau veikti bendradarbiaujant su AIA, mažiau šiluminių įvykių, lengviau prognozuojamas pirmtakų veikimas ir galbūt geresnis privatumas, nes daugiau duomenų gali likti įrenginyje.

Ką iš tikrųjų reiškia TOPS

TOPS reiškia "trilijonus operacijų per sekundę". Teoriškai tai pralaidumas: kiek aritmetinių operacijų gali atlikti akceleratorius. Marketingo, jis dažnai tampa sutrumpintas už "AI veiklos", bet tai tik kartais tiesa.

Pirmasis spąstai yra žodis "operacija". Pardavėjai gali laikyti įvairių rūšių matematikos "op". Kaikurie suskaičiuoti sveikasis skaičius operacijos (bendras už kiekybiškai išvadą). Kiti pabrėžia floating- point operacijas, arba pateikia kelis skaičius įvairių precipiers (INT8, INT4, FP16 ir kt.). Antrasis spąstai yra tai, kad TOPS paprastai yra piko skaičius, matuojamas idealiomis sąlygomis, kurios nėra panašios į jūsų tikslai veikia komandas, naršyklė su 30 skirtukų, EDR, DLP, VPN, ir šifruotas diskas.

Tvarkyti TOPS kaip "didžiausią tinklo juostos plotį jungiklyje". Naudinga, bet tik kaip išeities taškas. Jūsų patirtis priklausys nuo viso kelio: programinės įrangos, modelio tikslumo, atminties pralaidumo, vairuotojo brandos, reguliatoriaus elgesio, ir ar jūsų tikslinės programos gali net naudotis NPU.

Didžiausias TOPS, palyginti su veiksmingomis TPS

Didžiausias TPS - tai didžiausias teorinis pralaidumas esant konkrečiam tikslumui ir laikrodžio (galios) gaubtui. Efektyvus TOPS yra tai, ką jūsų darbo krūvis pasiekti praktiškai. Efektyvus našumas gali būti gerokai mažesnis dėl kliūčių, kurios neturi nieko bendro su neapdorotu skaičiavimu.

Dažnos priežastys veiksmingos veiklos sumažėjo:

Modelis atminties srautas dominuoja skaičiuoklė. Nemažai modernių modelių juda daug duomenų. NAME OF TRANSLATORS

Operatoriaus aprėptis neišsami. Jūsų modelis naudoja sluoksnius NPU kilimo laikas nepagreitina, tie sluoksniai patenka atgal į CPU / GPU, įvedant prekystalius ir kopijuoti viršūnes.

Tikslumo neatitiktis. NPU antraštės TOPS prisiima INT8, bet jūsų kamino veikia FP16, arba negali kiekybiškai be kokybės nuostolių, galite niekada pasiekti reklamuojamos pakopos.

Šiluminiai ir galios apribojimai. Plonafunkciniai nešiojamieji kompiuteriai gali ilgai nepalaikyti didžiausio skaičiaus. Ilgosios PG sesijos yra labiau "nepertraukiamos apkrovos" nei sprogimo atskaitos taškas.

Sistemos tvirtinimas. tikros pasekmės užimtos. Fono paslaugos, vaizdo dekodas, šifravimas, ir saugumo patikrinimas gali pavogti ciklus arba padidinti latentinę.

Precision yra paslėptas daugiklis už TOPS

To paties silicio TOPS skaičiai gali būti labai skirtingi, priklausomai nuo skaitinio tikslumo. Mažesnis tikslumas matematika (pavyzdžiui, INT8 arba INT4) gali paleisti daug daugiau operacijų per ciklą, nei didesnis tikslumas slankiojo taško. Štai kodėl prekybininkai reklamuoja didelį TPS skaičių "INT8", tuo tarpu FP16 arba FP32 skaičiai yra daug mažesni.

IT pirkėjams svarbiausia paklausti: kokį tikslumą iš tikrųjų naudoja darbo krūvis? Daugelis įmonių naudoja atvejus - kalbos stiprinimo, transkripcija, mažų kalbų modelius apibendrinimas, arba vizijos modeliai web kamera poveikį - gali paleisti gerai kiekybiškai. Kiti darbo apkrovos, ypač pagal užsakymą modeliai arba didelio tikslumo scenarijus, gali reikalauti didesnio tikslumo, arba bent jau kruopščiai kalibruoti išlaikyti kokybę.

Praktinis pirkimo procesas: jei pardavėjo TOPS antraštė yra susieta su tikslumu, Jūs negalite praktiškai įdiegti, šis numeris nėra svarbus Jūsų aplinkai.

Latency svarbu tiek, kiek pralaidumas

TOPS yra pralaidumas, ne latentinis laikas. Nemažai vertinamosios baigties PG patirties yra jautrios: modelis turi greitai reaguoti į vartotojo įvestį, mikrofono srovę arba kameros rėmus. Įrenginys su aukštesne TOPS vis dar gali jaustis blogiau, jei jis turi didesnį galutinio latentinį laiką dėl tvarkaraštyje viršus, sistemos neveiksmingumą, arba dažnai CPU trūkumų.

tikrame gyvenime, vartotojai pastebi latentinį laiką, kol jie pastebi pralaidumą. NPU vertės pasiūlymas nulūžo, net jei lustas gali sugirdyti apie didžiausią TOPS.

Ilgis: tylus ribotuvas

PG išvadas dažnai varžo atminties pralaidumas ir talpyklos elgesys. Akceleratorius turi greitai gauti svorius ir aktyvavimas. NPU dalinasi atmintimi su CPU ir GPU, sistema gali tapti memoriy- Contention saistomas mišrių darbo apkrovų.

Štai kodėl du įtaisai su panašiomis TOPS gali elgtis skirtingai nuolatinėje darbo apkrovoje. Galėtų būti patobulintas atminties posistemis, efektyvesnis duomenų kaupimas ant lustų arba mažiau tarpusavyje sujungtų NPU ir pagrindinės atminties baudų. Pirkimo komandos retai gauna švarų "AI atminties juostos" numerį, todėl saugiausias būdas yra nustatyti reprezentatyvias apkrovas realiomis sąlygomis.

Programinės įrangos kamino realybė: ar jūsų programos gali naudoti NPU?

NPU yra vertingas tik tada, kai jūsų programinė įranga gali jį nukreipti. įmonėje, tai priklauso nuo OS, vairuotojai, bėgimo laikas, ir taikymo parama.

Jūsų kontrolinį sąrašą turėtų sudaryti:

Skrydžio laiko prieinamumas. NPU palaiko stabilų kilimo laiką, kuris puikiai dera su jūsų valdymo ir pataisų procesais?

pagrindų suderinamumas. Jūsų darbo apkrovos veikia per bendras sistemas (pavyzdžiui, ONNX pagrindu vamzdynų arba VANDKS), arba jie užrakinta prie kamino, kad pirmenybę teikia GPU?

Ruošimas taikyti. NPU naudotojų bendradarbiavimo ir produktyvumo programos priklauso nuo to, ar jie iš tikrųjų perkelia NPU sukurdami OS? NPU palaikymas išleidimo pranešime nėra tas pats, kas "nuomininko nustatytoje konfigūracijoje nuosekliai vykdomas perkrovimas".

Mašinisto branda ir regresijos rizika. Greitintuvai yra jautrūs važiavimui. Jūsų aplinka pabrėžia stabilumą, Jums reikia aiškios atnaujinimo strategijos ir apsivertimo plano.

Mobilieji telefonai. Galite nustatyti, ar NPU veikia? @ title: window

Vertimo žodžiu pardavėjo numerius, be gauti spąstus

Kuomet pardavėjai pristato TOPS, manykite, kad tai geriausias, piko scenarijus. Jūsų darbas yra išversti jį į pirkimo-klasės klausimus:

Koks tikslus yra naudojamas reklamuojamų TOPS skaičius?

Gal toks tikslumas tikroviškas mūsų eksploatuojamiems modeliams, kurių kokybė yra reikalinga?

Kas yra ilgalaikis veiklos nuolat toli, ir ką galia atkreipti?

NAME OF TRANSLATORS

NAME OF TRANSLATORS

Koks procentas modelio diagramoje veikia NPU prieš CPU / GPU atgal?

Mes galime patvirtinti NPU dalyvavimą ir panaudojimą built- in arba pardavėjo įrankiai?

Vėlgi, jei pardavėjas negali į juos atsakyti be rankų mojavimo, TOPS laikyti rinkodaros etikete, o ne inžinerine metrika.

Gyvavimo ciklo scenarijai, pagal kuriuos NPU padeda įmonei IT

Stipriausios vertės atvejų linkę visą laiką, mažai-vidutinio sudėtingumo, kad veikia visą dieną ir konkuruoja su vartotojo darbo apkrovų.

Bendradarbiavimo patobulinimai yra bendras laimėjimas: fono efektai, autokadravimo, žvilgsnio korekcija, ir garso valymas gali veikti nuolat susitikimų metu. Kuomet darbo krūvis išeina iš CPU / GPU, dažnai matote mažesnį ventiliatoriaus triukšmą, mažiau varžovų, ir labiau nuspėjamą baterijos elgesį.

Optinio įrenginio transkripcija ir užfiksavimas gali sumažinti priklausomybę nuo debesies ir pagerinti vartotojų reagavimą žemo pralaidumo aplinkoje. Ji taip pat gali padėti organizacijoms, kurios nori sumažinti garso duomenis paliekant tikslą.

Lengvas vietos apibendrinimas, perrašymas pagalba, ir semantinė paieška per mažos vietos corpora gali būti įmanoma, kai modeliai yra kompaktiškas ir kiekybiškai. NPU gali priversti šiuos darbo srautus jaustis "akimirksniu", neįspėjus procesoriaus naudojimo.

Kameros vamzdynai ir vaizdo apdorojimas lauko darbuotojams arba paramos grupėms - dokumentų surinkimas, plyšių aptikimas, autopasėlių sodinimas - dažnai gauna naudos iš nuoseklių, mažos galios išvadų.

Kaikurie saugumo analitikai taip pat gali turėti naudos, ypač modeliai, kad žemėlapį į įvestis-kaip vamzdynai. Vėlgi, pirkėjai turėtų kruopščiai patvirtinti reikalavimus, nes saugumo tiekėjai dėl veiklos priežasčių gali pasirinkti GPU arba CPU, arba pasikliauti debesijos taškų nustatymu.

Kur TOPS tavęs neišgelbės

NPU automatiškai neišsprendžia didelių, bendrosios paskirties generatorių modelių. Jūs tikitės desktop- klasės vietos kartos sudėtingų užduočių, Jums vis dar gali prireikti GPU pagreitinimas, daugiau atminties, ir kamino derintas, kad darbo krūvis. Nemažai "didžiojo modelio" patirties vis dar dominuoja atminties talpa, atminties pralaidumas, ir programinės įrangos optimizavimas, ne neapdorotų TOPS.

NPU yra geriausiai vertinamas kaip efektyvumo varikliai konkrečių išvadų klasių, ne magija aparatūros, kuri pakeičia GPU už kiekvieną AI reikia.

NPU platformų palyginimo būdas

Vietoj reitingavimo įrenginių vien TOPS, sukurti palyginimo matricą, kuri atspindi įmonės realybę.

Darbo krūvis tinka: sąrašas AI patirtimi savo vartotojams iš tikrųjų paleisti šiandien ir tuos, kuriuos jūs tikimės standartizuoti per ateinančius 12 -24 mėnesius.

Iškrovimas patikra: patvirtinti, ar kiekvienas darbo krūvis naudoja NPU patikimai savo pasirinktą OS statyti.

Latyvumas ir reagavimas: matuoti vartotojams matomus rezultatus, ne tik pralaidumas.

Nuolatinis veikimas: išbandoma nepertraukiama 20-30 minučių sesija, ne trumpas etalonas.

Baterijos poveikis: palyginti vatais valandų suvartoti pagal tą patį "susitikimas + PG poveikis" scenarijų.

Šiluminis elgesys: stebėti ventiliatoriaus kreives ir purtymo įvykius realistiško daugiasektorinio darbo metu.

Matomumas: užtikrina vairuotojų ir bėgimo laikotarpių integravimą su pleistro kadencija, pasekmių valdymu ir saugumo kontrole.

Mobilizavimas: įvertinti įrankių, žurnalų, ir pardavėjo reagavimo, kai išvados nepavyksta arba perkrova regresuoja.

NPU lyginam( NPU) palyginimas su verslo rezultatais

Naudinga etalonų strategija IT organizacijoms turi tris sluoksnius.

Pradžia su reprezentatyvia programa darbo srauto. Pavyzdžiui, vaizdo skambutis su fono efektų įjungtas, antraštės, ir realus daugelio užduočių profilį fone. NAME OF TRANSLATORS

Pridėti kontroliuojamo tyrimo rezultatus. Naudokite nedidelį rinkinį modelių galite teisėtai paleisti ir pakartoti. Norima ne skelbti rezultatą, bet lyginti platformas tokiomis pačiomis sąlygomis: tas pats modelis, toks pat tikslumas, vienodas partijos dydis, tokia pati kilimo ir tūpimo tako konfigūracija.

Baikite su streso ir regresijos testais. @ info: whatsthis NPU yra pakankamai nauji, kad regresijos yra reali veiklos išlaidų.

Jūs negalite nustatyti pakartojamas "aukso kelias" testas, jums bus sunku pateisinti aukščiausios techninės įrangos išlaidas, nes jums nebus galima įrodyti, veiklos ar galios gerinimo.

Saugumo, privatumo ir valdymo pasekmės

On-device AI gali sumažinti duomenų poveikį, palaikydamas apdorojimo vietos, bet jis taip pat keičia savo vertinamosios baigties rizikos modelį. Jūs dabar turite modelio turtą, dėklai, ir potencialiai jautrus emaddings ant klientų prietaisų. NAME OF TRANSLATORS

IT komandos turėtų paklausti:

Kur saugomi pavyzdiniai failai ir kaip jie atnaujinami?

Kas yra generuojama, ir ar ji gali būti kontroliuojama pagal įmonių politiką?

NAME OF TRANSLATORS

NAME OF TRANSLATORS

NPU palengvina modelių naudojimą vietoje, bet valdymui vis dar reikalingas disciplinuotas konfigūracijos valdymas ir tinkamumas.

Gyvavimo ciklo planavimas: venkite pirkti šiandienos demo

NPU priėmimas juda greitai, ir įmonės atnaujinimo ciklai yra lėtas. Didžiausia rizika yra pirkti pasekmes optimizuotas demo darbo krūvį, kad jūsų organizacija nebus standartizuoti, nors trūksta pajėgumų, kurie bus svarbūs dvejus ar trejus metus įrenginio gyvavimo ciklo.

pirmenybę teikti platformoms su stipria programinės įrangos ekosistemos parama, stabiliu vairuotojo pristatymu ir stebimumu. Vos mažesnis TOPS skaičius brandžioje, gerai remiamoje platformoje gali viršyti didesnę TOPS dalį tikrovėje, jei kilimo ir tūpimo tako ekosistema yra stipresnė.

Taip pat apsvarstyti kryžminį pardavėjo perkeliamumą. Jūsų vidaus įrankiai gali būti nukreipti į bendrus modelio formatus ir bėgimo laikus, sumažinsite užraktą ir pagerinsite savo gebėjimą perjungti aparatūrą ateityje.

A praktinis aiškinimo vadovas TOPS įmonių pirkimo

Gydyti TOPS kaip grubus lubų, ne pažadas. Aukštesnis gali padėti, bet tik jei darbo krūvis gali naudoti tikslumą ir operatoriai, kurie atrakinti, kad lubų, ir tik jei platforma palaiko našumą per savo galios ir šilumos vokų.

Praktikoje TOPS tampa prasminga, kai galite jį suplanuoti:

Modeliai ir funkcijos, kuriuos planuojate standartizuoti visoje parke

Tikslumas galite įdiegti be kokybės regresses

Pakartojamas etalonas, kuriuo matuojamas vėlavimas, ilgalaikis veikimas ir akumuliatoriaus smūgis

Operatyvinė pagalba: vairuotojai, darbo laiko atnaujinimas, telemetrija ir politikos kontrolė

Tuos laimėjus prietaisui, TOPS numeris pasijus "realus". Jūs sumokėsite už silicį, kuris sėdi tuščioje padėtyje.

IT grupių uždarymo perspektyva

NPU tampa standartine vertinamosios baigties struktūros dalimi, bet pirkimų sėkmė priklauso nuo atsisakymo pirkti pagal antraštinius numerius. TOPS nėra universalus rezultatas. Čia yra didžiausias pralaidumas, kuris kinta su tikslumu, modelio struktūra, atminties elgesiu, ir programinės įrangos branda.

IT pirkėjo pranašumas yra disciplina: nustatyti savo tikslinės darbų apkrovos, patvirtinti offlock, matuoti latentinis laikas ir akumuliatoriaus smūgis, ir reikalauja stebėjimo. NPU tampa lengviau įvertinti, nei atrodo. Jūs nustojate diskutuoti apie marketingo teiginius ir pradėti lyginti rezultatus: tylesni susitikimai, ilgesnis akumuliatoriaus naudojimo laikas, stabilesnė vartotojo patirtis, aiškesnis kelias į on-device AI funkcijas, kurios svarbios įmonės veikloje.