În industria tehnologică, cu greu poți avea o conversație fără ca cineva să menționeze inferența, inteligența artificială (AI) și învățarea automată (ML). Cu toate acestea, este important de reținut că, deși toți acești termeni sunt interconectați, ei diferă în mod semnificativ.
În acest articol, vom explica diferențele fundamentale și vom evidenția importanța utilizării tehnologiei AI de margine bazate pe procesarea tensorului-, în special în sistemele edge și încorporate. În comparație cu soluțiile bazate pe unități de procesare grafică (GPU), unitățile de procesare tensor (TPU) oferă performanțe mai eficiente și mai rentabile-. De asemenea, vom oferi câteva exemple de cazuri de utilizare care ilustrează locurile în care ați putea întâlni soluții AI de vârf în viitor.
Fundamentele ML și Inferența
ML se referă la metodologia de antrenare a modelelor care utilizează date reprezentative pentru a permite mașinilor să învețe cum să execute sarcini. Acest proces poate fi foarte intens din punct de vedere computațional, generând trilioane de operațiuni per nou punct de date de antrenament. Natura iterativă a procesului de instruire, combinată cu seturile enorme de date de antrenament necesare pentru a obține o precizie ridicată, generează cererea de procesare în virgulă mobilă-performanță extrem de ridicată. Instruirea ML este cel mai bine implementată ca infrastructură de centru de date, unde costurile mari de capital și operaționale pot fi justificate prin amortizarea acestora pentru numeroși clienți.
Inferența implică utilizarea modelelor instruite pentru a genera potriviri potențiale pentru date noi relevante pentru datele reprezentative pe baza cărora a fost antrenat modelul. Inferența își propune să ofere răspunsuri rapide în câteva milisecunde. Exemplele de inferență includ recunoașterea vorbirii, traducerea-în timp real a limbajului, viziunea automată și deciziile de optimizare a inserției de publicitate. Deși deducerea necesită doar o fracțiune din puterea de procesare necesară pentru antrenament, aceasta depășește cu mult ceea ce sistemele tradiționale bazate pe unitatea centrală de procesare (CPU)-poate oferi, în special pentru aplicațiile de viziune computerizată. Acesta este motivul pentru care atât de multe companii apelează la soluții de accelerare bazate pe-tensor-fie ca IP pe SoC-uri sau ca în-acceleratoare de sistem-pentru a obține timpii de răspuns de sub-secunde necesari la margine. Realitatea este că a petrece chiar și un minut sau câteva secunde procesând imagini într-un sistem de viziune nu este foarte util. Sistemele de viziune industrială caută viteze de procesare{13}}la milisecunde.
Separarea antrenamentului și inferenței
Implementarea aceluiași hardware folosit pentru antrenament pentru a gestiona sarcinile de lucru de inferență poate duce la supra-provizionarea mașinilor de inferență cu acceleratoare și hardware CPU. Soluțiile GPU dezvoltate pentru ML în ultimul deceniu nu sunt neapărat alegerea optimă pentru implementarea-la scară largă a tehnologiilor de inferență ML. Diagrama de mai jos ilustrează perfect comparația dintre acceleratoarele TPU și acceleratoarele GPU. Arată clar că acceleratoarele TPU oferă un consum mai mic de energie, costuri reduse și eficiență mai mare în comparație cu soluțiile AGX bazate pe GPU-, oferind în același timp niveluri de performanță convingătoare pentru aplicațiile de inferență.
Un alt aspect critic atunci când abordați soluțiile de instruire și inferență ML este mediul software. Astăzi, sunt utilizate numeroase biblioteci populare, cum ar fi CUDA pentru GPU-uri NVIDIA, cadre ML precum TensorFlow și PyTorch, biblioteci optimizate de modele multi-platforme precum Keras și multe altele. Aceste seturi de instrumente sunt esențiale pentru dezvoltarea și instruirea modelelor ML, dar aplicațiile de inferență necesită un set diferit, mai mic de instrumente software.
Seturile de instrumente de inferență se concentrează pe rularea modelelor pe platformele țintă. Aceștia acceptă portarea modelelor antrenate pe platforme, ceea ce poate implica unele transformări ale operatorilor, cuantificare și servicii de integrare a gazdei. Cu toate acestea, acesta reprezintă un set relativ simplu de funcționalități în comparație cu cele necesare pentru dezvoltarea și instruirea modelului.
Instrumentele de inferență beneficiază de a începe cu o reprezentare standardizată a modelului. Open Neural Network Exchange (ONNX) este formatul standard pentru reprezentarea modelelor ML. După cum sugerează și numele, este un standard deschis gestionat ca proiect Linux Foundation. Tehnologii precum ONNX permit decuplarea sistemelor de instruire și inferență, oferind dezvoltatorilor libertatea de a alege diferite platforme optimizate pentru fiecare.
Exemple de aplicații vizuale
Pe măsură ce tehnologiile ML și procesoarele de inferență continuă să avanseze și să evolueze, aplicațiile proliferează. Mai jos sunt doar câteva locuri în care ați putea întâlni această tehnologie în viitor.
Servere Edge în întreprinderi precum fabrici, spitale, magazine de vânzare cu amănuntul și instituții financiare. De exemplu, în setările industriale, AI poate ajuta la gestionarea stocurilor, la detectarea defectelor și chiar la întreținerea predictivă înainte de a apărea probleme. În comerțul cu amănuntul, permite funcții precum estimarea poziției, folosind vederea computerizată pentru a detecta și analiza postura umană. Datele din această analiză îi ajută pe comercianții cu amănuntul-și-să înțeleagă mai bine comportamentul uman și traficul pietonal din magazinele lor, permițându-le să optimizeze amenajările magazinelor pentru vânzări maxime și satisfacția clienților.
Imagini de{0}}precizie/înaltă-calitate pentru aplicații, inclusiv robotică, automatizare/inspecție industrială, imagistica medicală, imagistica științifică, camere de supraveghere și recunoaștere a obiectelor și fotonică. De exemplu, metodele de învățare automată au demonstrat capacitatea de a detecta cancerul prin procesarea razelor X-digitale. Acest proces implică dezvoltarea unui model ML conceput pentru a procesa imagini cu raze X-, utilizând de obicei algoritmi de segmentare semantică antrenați pentru a identifica leziunile canceroase. În timpul antrenamentului, imaginile cu cancer identificate de radiologi sunt folosite pentru a învăța rețeaua ce nu este cancer, ce este cancer și cum apar diferite tipuri de cancer. Cu cât un model ML este antrenat mai mult, cu atât devine mai bine la maximizarea diagnosticelor corecte și la minimizarea diagnosticelor greșite. Aceasta înseamnă că învățarea automată se bazează nu numai pe proiectarea inteligentă a modelelor, ci în egală măsură pe cantități mari (zeci de mii până la milioane) de exemple de date îngrijite cu atenție în care cancerul a fost identificat cu experiență.
Coșuri de cumpărături inteligente-Mai multe companii dezvoltă și implementează sisteme inteligente de cumpărături care recunosc produsele nu după codurile de bare UPC, ci după aspectul vizual al ambalajului în sine. Această caracteristică permite cumpărătorilor să plaseze pur și simplu articole în coș sau în sistemul de casă fără a fi nevoie să găsească codul UPC și să-l scaneze cu un scaner laser UPC. Această tehnologie face procesul de cumpărături mai precis, mai rapid și mai convenabil.
Luarea deciziei corecte
Companiile trebuie să evalueze toate soluțiile disponibile astăzi și să o selecteze pe cea optimă în funcție de cazul lor specific de utilizare. De asemenea, ei nu pot presupune pur și simplu că toate soluțiile AI sunt cel mai bine implementate pe dispozitivele GPU, deoarece soluțiile bazate pe TPU-oferă o eficiență mai mare de procesare și o utilizare mai mică a siliciului, reducând astfel consumul de energie și costurile.