Audio este o parte integrantă a multor aplicații IoT, inclusiv produse de consum, cum ar fi difuzoare și căști, purtabile și dispozitive medicale (de exemplu, aparate auditive), aplicații de automatizare și control industrial, sisteme de divertisment și unități de infotainment auto.
Audio IoT poate fi clasificat pe larg în trei tipuri: streaming (adică, muzică, voce și date), recunoaștere vocală/comenzi și wireless prin conectivitate Bluetooth și Wi-Fi (de exemplu, streaming audio multi-canal prin Wi-Fi la un sistem de sunet surround). Cu toate acestea, proiectarea subsistemelor audio acustice de înaltă calitate, neîntrerupte, poate fi dificilă atunci când inginerii trebuie să respecte constrângerile stricte necesare pentru dispozitivele bazate pe IoT.
Sunt necesare modele mai complexe pentru a include caracteristici avansate, cum ar fi recunoașterea vocii, cum ar fi să permită șoferilor să controleze sistemul de infotainment în mașina lor în aceeași manieră de mână liberă ca un telefon mobil. Deoarece MCU se află în centrul tuturor acestor sisteme audio, este important să selectați un MCU care să integreze tehnologiile audio necesare pentru proiectarea unui sistem audio de încredere fără zgomot. Această lucrare explorează tehnologiile audio care pot fi utilizate pentru a proiecta astfel de sisteme.
Componente ale unui subsistem audio
Audio IoT implică trei activități principale: voce/date de înaltă calitate, transmisie wireless și control de reorganizare vocală. Figura 1 prezintă cele mai importante blocuri de construcție dintr -un sistem încorporat.
Această diagramă bloc arată blocurile de construcție mai importante ale subsistemului de procesare audio
Rețineți că multe dintre aceste caracteristici pot fi integrate în MCU-uri moderne, cum ar fi Cypress Cyw43907 cu Wi-Fi 802.11n integrat utilizat în acest exemplu. Unele dintre tehnologiile audio importante care pot fi incluse într-un sistem bazat pe IoT includ:
Aplicații de muzică
MCU-uri activate audio permite inginerilor să decodeze fluxurile MP3/4 utilizate de cei mai populari playere media și furnizori de conținut. Multe proiecte trebuie, de asemenea, să sprijine decodarea AAC WMA și Apple, care necesită o putere suplimentară de procesare. În aplicațiile audio pentru consumatori, MCU-urile audio costuri reduse pot fi adesea utilizate prin gestionarea fluxurilor de muzică digitală de la accesorii audio, cum ar fi seturi de difuzoare digitale.
În aceste aplicații, un cadru de date audio PCM (încapsulat într -un format de clasă audio USB) ajunge la fiecare 1 ms prin unul dintre canalele seriale SPI/I²C ale procesorului. În funcție de sursă, fluxul audio poate ajunge într-unul dintre mai multe formate (adică, aliniat la stânga, aliniat dreapta, I2S etc.). Cu toate acestea, unele codecuri cu costuri reduse pot accepta doar anumite formate. În aceste cazuri, MCU joacă un rol important în asigurarea faptului că datele sunt aliniate corect înainte de a fi transmise la codec.
Deoarece nu toate sursele audio folosesc aceeași rată de eșantionare, codec -ul trebuie să -și adapteze frecvența de eșantionare la sursă sau să se bazeze pe MCU pentru a converti fluxul de date eșantionat într -o rată de date comună (a se vedea figura 2). În aceste cazuri, MCU trebuie să gestioneze fluxul pentru a evita condițiile de subsol sau de supraîncărcare care pot duce la muturi, POP și întreruperi audio care pot provoca pierderi de date și perturba experiența de ascultare a utilizatorului. Rețineți că MCU audio poate fi utilizat și pentru a implementa alte funcții ale subsistemului audio, cum ar fi controlul iluminatului în timpul redării audio.
Este posibil ca MCU audio să fie necesar să efectueze conversia formatului, ajustarea ratei eșantionului și gestionarea fluxului, precum și să suporte interfețele de utilizator audio.
Pentru a implementa audio într -o gamă largă de aplicații, MCU -urile audio trebuie să suporte o varietate de tehnologii audio. Figura 3 prezintă exemple ale acestor tehnologii audio.
Tehnologie de sunet
Codecuri audio
Codecurile audio sunt componenta principală front-end a unui sistem audio. Multe MCU -uri construite pentru aplicații IoT acceptă funcționalitatea codecului în hardware. Acest lucru permite sistemului să reducă dimensiunea eșantioanelor audio digitale pentru a accelera transmisia wireless (economisirea puterii) și pentru a economisi spațiu de stocare (reducând încordarea pe capacitatea de memorie internă). Codec -ul poate suporta diverse formate standard audio, cum ar fi AAC, AC -3 și ALAC. Pentru a face acest lucru, este nevoie de o unitate de acces de decodare (AU), care este implementată înainte de orice post-procesare audio (de exemplu, DSOLA, SOLA). Atunci când sunt utilizate cu formate audio standard, cum ar fi AAC, AC -3 și ALAC, audio este clasificat astfel încât eșantioanele audio ulterioare să fie în formatul prescris specificat în fluxul de date de pachete audio. Distanța de pachete este, de asemenea, gestionată pentru a permite bruiașul încrucișat minim și o funcționare neîntreruptă în prezența congestiei. Mărimea sarcinii AU permite executarea oricărei ascunderi care trebuie efectuate.
Procesare în bandă de bază
Un semnal de bandă de bază este grupul fundamental de frecvențe într -o formă de undă analogică sau digitală care poate fi procesată de circuite electronice. Un semnal de bandă de bază poate consta dintr-o singură frecvență sau un grup de frecvențe sau, în domeniul digital, un flux de date trimise pe un canal non-multiplexat. Banda de bază este definită ca banda de bază (semnal/al doilea) amestecată cu semnalul purtător pentru a produce un semnal modulat. Rețineți că în MCUS care acceptă audio IoT, codec -ul audio integrează procesarea în bandă de bază și RF pe un singur cip. Codecul audio poate fi implementat într -o varietate de transceiver wireless pentru a furniza date vocale și/sau funcționalitate muzicală. Codec -ul oferă, de asemenea, canale mono și stereo pentru ieșire audio, precum și intrări stereo.
Ascunderea pierderilor de pachete și replicarea datelor
Latența excesivă, pierderea de pachete și bruiajul de latență ridicată pot afecta calitatea comunicării. Probabilitatea pierderii bruște a pachetelor crește odată cu încărcarea rețelei și are ca rezultat întreruperi care pot fi auzite de utilizator. Transmisia audio robustă pe Wi-Fi poate fi îmbunătățită cu caracteristici avansate, cum ar fi tehnologia de ascundere a pierderilor de pachete Cypress. Sursa/receptorul de arhitectură a sistemului este următorul: O sursă surprinde audio, multiplexele datele PCM prin structura fluxului RTP și sincronizează ceasul cu toți receptoarele conectate la sursa PLC.
Rețineți că performanța legăturii de comunicare depinde de calitatea performanței bugetului de legătură. Acest buget de legături este determinat de trei factori: transmite puterea, transmite câștigul antenei și primește câștig de antenă. De exemplu, o comunicare fiabilă pe o rețea 802.11 este posibilă dacă puterea căii de legătură minus pierderea spațiului disponibil este mai mare decât nivelul minim de semnal primit al radioului receptor (a se vedea figura 4).
Performanța unei legături de comunicare depinde de calitatea performanței bugetului de legătură
Îmbunătățirea inteligibilității vorbirii (SIE)
Zgomotul de fond în sistemul audio poate reduce inteligibilitatea vorbirii. Dacă zgomotul depășește un anumit nivel, discursul poate fi dificil de înțeles pentru utilizator. Disponibilitatea recunoașterii continue a vorbirii în timp real pe dispozitivele încorporate necesită un sistem care să îmbunătățească inteligibilitatea vorbirii cu deficiențe de zgomot. Selectarea unui MCU care acceptă portarea și optimizarea unui sistem de recunoaștere continuă a vocabularului mare utilizat în mod obișnuit (LVCSR) poate simplifica dezvoltarea.
Detectarea frazelor de trezire
Această caracteristică avansată permite utilizatorilor să pornească sistemul cu mâna liberă prin activarea dispozitivului cu vocea lor.
Multicast eficient la unul sau mai mulți vorbitori
Multicasting este o metodă de abordare a rețelei folosită pentru a trimite mesaje către un grup de ținte simultan folosind cea mai eficientă strategie. Mesajele sunt livrate o singură dată prin fiecare legătură din rețea, iar copii sunt create numai atunci când următoarea legătură se împarte către mai multe destinații, de obicei la comutatoarele de rețea și routere. Cu toate acestea, la fel ca protocolul de date de utilizator (UDP), multicast nu garantează livrarea fluxului de mesaje, ceea ce poate duce la eliminarea mesajelor sau la livrarea de mesaje neorganizate. Multicast fiabil (RMC) oferă recunoașteri pentru pachete multicast (doar pachete), astfel încât anumite pachete multicast specifice pot fi livrate în mod fiabil. Transmițătorul selectează receptorul cu cel mai slab RSSI pentru a recunoaște cadrul. Într-un mediu IoT, implementarea RMC înseamnă că emițătorul Wi-Fi alege unul dintre numeroșii receptori Wi-Fi pentru a recunoaște recepția cadrului. Transmițătorul selectează receptorul cu cel mai slab RSSI pentru a recunoaște cadrul. Implementarea folosește un cadru operațional care conține elemente de informații RMC proprii pentru a notifica și activa recunoașterea. Implementarea conține, de asemenea, comenzi de driver Wi-Fi specifice RMC pentru a seta adresa MAC multicast și pentru a activa și dezactiva RMC.
Pentru audio și video cu întârzieri de transmisie fixe și simetrice, sunt îndeplinite cerințele de sincronizare a timpului; De exemplu, RMC se poate baza pe o sincronizare și sincronizare extrem de exactă pentru transmiterea netedă de la celule la celule a datelor vocale, video și mobile. Realizarea unei sincronizări extrem de precise și precisă nu este ușoară din punct de vedere tehnic, de aceea este important să se găsească implementări care pot fi verificate pentru a îndeplini cerințele aplicației.
Formate de încadrare, corectarea erorilor înainte și replicarea pachetelor
Pentru streamingul audio, este esențial ca ceasul să fie sincronizat cu toți receptoarele Wi-Fi. O abordare este utilizarea unui ceas comun atât pentru dispozitivele sursă, cât și pentru cele receptoare, adesea numite ceas de perete sau ceas de sistem (STC). În primul rând, fiecare receptor (receptor) își sincronizează STC -ul (ceasul de perete) cu STC -ul sursei/emițătorului (ceas de perete principal). Fiecare receptor poate recupera acum ceasul emițătorului, deoarece timestamp -ul introdus de sursă (disponibil în antetul extins al fiecărui pachet RTP) reflectă momentul eșantionat al mediului în raport cu ceasul comun.
STC se bazează pe valorile ceasului Grandmaster prezentate în specificația 802.1AS. Deoarece toate dispozitivele de receptor sunt conștiente de corelația dintre STC și ceasul media al dispozitivului sursă (în ceea ce privește RTP sau Timestamp media), fiecare receptor poate reconstrui o copie a ceasului media RTP al dispozitivului sursă și a unei cozi de ieșire în consecință pentru o redare corespunzătoare. Calcularea transparentă este locul în care hardware -ul/UCODE pot pachete de cronometrare primite și transmise cât mai aproape de interfața Mac/Phy. În timp ce această valoare a ceasului nu este utilizată pentru redare, poate fi utilizată pentru a măsura bruiajul în întregul sistem și pentru a efectua o analiză completă a performanței.
Exemplu de sistem audio Smart Home Audio
Pentru a înțelege audio IoT în context, luați în considerare exemplul inteligent de casă și rolul pe care îl poate juca audio în îmbunătățirea funcționalității generale a unui sistem inteligent de acasă. O casă devine o casă inteligentă atunci când dispozitivele și aparatele din ea pot comunica între ele și oamenii care locuiesc acolo. Prin creșterea interconectivității noastre, casele inteligente ne îmbunătățesc calitatea vieții și crește securitatea noastră.
Unul dintre principalele cazuri de utilizare pentru audio în casa inteligentă este stocarea și partajarea audio prin Wi-Fi sau Bluetooth. Alegerea Wi-Fi peste BLE variază în funcție de aplicație și depinde de cerințele de calitate și de calitatea audio. De exemplu, un controler de casă poate juca un sunet specific în fiecare cameră a casei, dacă cineva sună soneria la ușă, mai degrabă decât doar conectarea clopotului într -o parte a casei. În mod similar, controlerul poate limita sunetul la camere specifice, cum ar fi nu într -o creșă pentru bebeluși. Controlerele încorporate ajută la prelucrarea acestui audio și să facă sistemul mai inteligent prin gestionarea diferitelor funcții de control al ieșirii.
Redarea sistemelor audio
Replay Systems Audio au devenit o aplicație importantă pe piața audio. Sistemele de redare audio wireless se află în centrul casei inteligente, reunind multe dispozitive inteligente diferite în casă și luând decizii inteligente în numele utilizatorului. De exemplu, un sistem audio poate controla modelele de iluminat într -o casă bazată pe muzica care se joacă în prezent. De asemenea, poate utiliza conversia text-to-speech pentru a citi notificări ale utilizatorilor sau e-mailuri cu voce tare. Utilizatorii au, de asemenea, opțiunea de a crea zone într-un sistem audio cu mai multe camere, folosind dispozitive audio în rețea, cum ar fi difuzoare wireless în diferite camere ale casei. Această abordare creează un întreg ecosistem pentru a se asigura că locuința funcționează întotdeauna la eficiență maximă, reducând în același timp interacțiunile cu oamenii care locuiesc acolo. Pentru a crea un astfel de ecosistem, designerii IoT trebuie să selecteze un microcontroller încorporat, cu performanțe și funcții bazate pe audio adecvate, care au fost optimizate pentru aplicațiile IoT.
Efecte digitale de procesare a semnalului
Procesarea semnalului audio în domeniul digital este o parte importantă a oricărui sistem audio înainte de a transmite date audio printr -o legătură wireless. Această procesare implică de obicei măsurarea, filtrarea și/sau comprimarea semnalului analogic audio. MCU -uri încorporate cu funcționalitate DSP integrată permit efecte, cum ar fi adăugarea unui mixer digital și suport pentru funcțiile de control la distanță. Cu un egalizator 5- pentru fiecare canal, redare audio poate fi integrată în mod inteligent cu majoritatea aplicațiilor de secvențiere pentru a crea un sistem de studio puternic.