Poboljšano izdvajanje parametara značajke iz govornih signala pomoću algoritma strojnog učenja (1)

Sažetak: Prepoznavanje govora odnosi se na sposobnost softvera ili hardvera da primi govorni signal, identificira osobine govornika u govornom signalu i nakon toga prepozna govornika. Općenito, proces prepoznavanja govora uključuje tri glavna koraka: akustičnu obradu, izdvajanje značajki i klasifikaciju/prepoznavanje. Svrha izdvajanja značajki je ilustrirati govorni signal korištenjem unaprijed određenog broja komponenti signala. To je zato što su sve informacije u zvučnom signalu pretjerano glomazne za rukovanje, a neke su informacije irelevantne u zadatku identifikacije. Ova studija predlaže pristup temeljen na strojnom učenju koji izvodi ekstrakciju parametara značajki iz govornih signala kako bi se poboljšala izvedba aplikacija za prepoznavanje govora u okruženjima pametnih gradova u stvarnom vremenu. Štoviše, princip mapiranja bloka glavne memorije u predmemoriju učinkovito se koristi za smanjenje vremena računanja. Veličina bloka predmemorije je parametar koji snažno utječe na performanse predmemorije. Konkretno, implementacija takvih procesa u sustavima u stvarnom vremenu zahtijeva veliku brzinu računanja. Brzina obrade igra važnu ulogu u prepoznavanju govora u sustavima u stvarnom vremenu. Zahtijeva korištenje modernih tehnologija i brzih algoritama koji povećavaju ubrzanje izdvajanja parametara značajki iz govornih signala. Problemi s overclockingom tijekom digitalne obrade govornih signala još nisu u potpunosti riješeni. Eksperimentalni rezultati pokazuju da predložena metoda uspješno izdvaja značajke signala i postiže besprijekorne performanse klasifikacije u usporedbi s drugim konvencionalnim algoritmima za prepoznavanje govora.

Cistanche deserticola

Ključne riječi: prepoznavanje govora; paralelno računanje; distribuirano računalstvo; višejezgreni procesor; izdvajanje značajki; spektralna analiza

1. Uvod

Uspostava komunikacijskih pristupa između ljudi i računalne tehnologije ključni je zadatak u modernoj umjetnoj inteligenciji. Jedan od najjednostavnijih načina za unos informacija za korisnike je putem govornih signala. Stoga su tehnologija obrade govornih signala i njezini alati postali nužan dio informacijskog društva. Prepoznavanje govora bitan je istraživački aspekt obrade govornog signala i vitalna tehnika interakcije između čovjeka i računala. Govorni signali sadrže semantičke, osobne informacije i informacije o okolini [1]. Opći pristup obradi govornog signala je korištenje kratkoročne analize, u kojoj se signal dijeli na vremenske prozore fiksne veličine, uz pretpostavku da se parametri signala ne mijenjaju. Preklapanje se postavlja između prozora kako bi se dobio točniji prikaz signala. Algoritmi za izdvajanje značajki kao što su spektralna analiza i linearno predviđanje primjenjuju se na svaki prozor. Međutim, ti procesi također trebaju uzeti u obzir brzinu i vrijeme.

Pustinjski ginseng

Vrijeme je značajan problem u nekoliko područja obrade signala u stvarnom vremenu. Omjer brzine obrade može se povećati učinkovitim korištenjem resursa procesora i razvojem novih i brzih algoritama za smanjenje vremena digitalne obrade. Međutim, problemi s računalstvom visokih performansi još nisu u potpunosti riješeni [2]. Štoviše, značajan napredak postignut je u automatskom prepoznavanju govora s razvojem hardvera i softvera za digitalnu obradu signala. Međutim, unatoč ovom napretku, strojevi se ne mogu mjeriti s performansama svojih ljudskih kolega u pogledu točnosti i brzine prepoznavanja, osobito u prepoznavanju govora neovisno o govorniku. Stoga je velika količina istraživanja koja su provedena o prepoznavanju govora usredotočena na probleme prepoznavanja govora koji su neovisni o govorniku, zbog širokog raspona primjena i ograničenja dostupnih tehnika prepoznavanja govora [3].

Ukratko, glavni doprinosi studije su sljedeći:

Cistanche čaj

Kliknite ovdje za pregled proizvoda od čaja Cistanche deserticola

【Tražite više】 E-pošta:cindy.xue@wecistanche.com / Whats App: 0086 18599088692 / Wechat: 18599088692

Proces identifikacije osobe govornim signalima sastoji se od nekoliko faza. Među njima, neki koraci zahtijevaju više vremena izračuna. Ovo je spektralna analiza. Jedan od parametara koji je posebno važan u algoritmima strojnog učenja je vrijeme obuke. U ovom smo radu otkrili da je proces izdvajanja značajki važan za identifikaciju govornih signala. Osim toga, potrebno je puno vremena za strojno učenje. Utvrđeno je da se proces spektralne analize sastoji od neovisnih operacija, a moguća je i paralelizacija.

Eksperimenti su pokazali da FFT i DCT spektralne transformacije daju dobre rezultate u spektralnoj analizi. Proces spektralne analize vrijedi za svaki segment govornog signala. To nam omogućuje jasno razlikovanje ovih značajki od govornog signala. Uz pomoć alata OpenMP i TBB razvijen je algoritam za paralelno računanje koji je omogućio ubrzanje izračuna.

Veličina segmenta je važna kada se govorni signal dijeli na segmente. Tijekom pokusa utvrđeno je da veličina segmenta govornog signala ovisi o cache memoriji središnjeg procesora. Konkretno, utvrđeno je da usklađivanje segmenta s veličinom predmemorije u višejezgrenim procesorima ima pozitivan učinak na brzinu računanja u strojnom učenju.

Predlaže se nova metoda paralelne implementacije za spektralne transformacije signala za izdvajanje parametara značajke iz govornih signala korištenjem algoritma strojnog učenja na višejezgrenim procesorima koji koriste TBB i OpenMP.

Također je utvrđeno da učinkovito korištenje principa mapiranja glavnog memorijskog bloka u predmemoriju i veličine bloka predmemorije može povećati brzinu obrade.

Dodatak Cistanche blizu mene-Poboljšanje pamćenja

Ostatak ovog rada organiziran je na sljedeći način. Odjeljak 2 daje pregled postojećih studija za izdvajanje specifičnih svojstava govornog signala. Odjeljak 3 opisuje korake izdvajanja značajki s eksperimentima. Odjeljak 4 detaljno predstavlja predloženi računalni algoritam visokih performansi za izdvajanje parametara značajki iz govornih signala. Eksperimentalni rezultati temeljeni na našoj implementaciji raspravljaju se u odjeljku 5. Odjeljak 6 naglašava ograničenja predložene metode. Konačno, odjeljak 7 zaključuje studiju sažimanjem nalaza i bilježenjem smjerova budućeg istraživanja.

2. Srodni radovi

Trenutno se razvijaju i poboljšavaju nove metode, algoritmi i modernije aplikacije za segmentaciju govornih signala i izračun parametarskih pokazatelja odabranih fragmenata, čime se stvara spektrogram govornih signala pomoću spektralne analize [4-7]. Identifikacija govornika s raznolikim glasovnim isječcima diljem svijeta ključna je i izazovna zadaća, posebno u izdvajanju snažnih i diskriminirajućih značajki [8]. Novi Mel Frequency Cepstral Coefficients (MFCC) karakterističan sustav ekstrakcije koji je brži i energetski učinkovitiji od tradicionalne realizacije MFCC-a predložili su Korkmaz et al. [9]. Umjesto visokopropusnog filtra za prednaglašavanje, upotrijebili su niskopropusni filtar. Implementirali su pojasni filtar s visokopropusnim filtrom jer je potrebno prethodno naglašavanje kako bi se pojačala energija signala u visokim frekvencijama. U našem prethodnom radu [10] predstavili smo novu metodu za identifikaciju govornika koja se temelji na MFCC-u. Umjesto upotrebe konvencionalnih MFCC-ova, koristimo piksele iz Mel spektrograma kao skup značajki. Spektrogram je transformiran u 2-D niz kako bi se stvorio novi skup podataka. Da bi se identificirao govornik, nekoliko algoritama učenja stavljeno je u praksu s 10-tehnikom unakrsne provjere. Uz pomoć višeslojnog perceptrona (MLP) s tanh aktivacijskom funkcijom postignuta je najbolja točnost od 90,2 posto.

Ekstrakcija značajki postiže se promjenom valnog oblika govora u oblik parametarske reprezentacije pri relativno manjoj brzini podataka za naknadnu obradu i analizu [11-14]. Pristupi ekstrakcije značajki obično daju višedimenzionalni vektor značajki za svaki govorni signal. Izdvajanje značajki najrelevantniji je dio prepoznavanja govornika. Značajke govora imaju vitalnu ulogu u izdvajanju govornika od drugih. Ekstrakcija značajki smanjuje veličinu govornog signala, bez nanošenja bilo kakve štete na snagu govornog signala [15-17]. U [18] autori su predstavili novi pristup koji iskorištava fino podešavanje veličine i parametara pomaka prozora spektralne analize koji se koristi za izračunavanje početne kratkotrajne Fourierove transformacije kako bi se poboljšala izvedba automatskog prepoznavanja govora ovisnog o govorniku. (ASR) sustav. U nedostatku liječnika, laici mogu koristiti sustave za pomoć pri donošenju odluka koji su stvoreni korištenjem pristupa umjetne inteligencije. Rano i neinvazivno otkrivanje srčanog statusa može se postići pomoću signala fonokardiograma (PCG) [19-21].

Pokazalo se da konvolucijske neuronske mreže (CNN) uspješno simuliraju strukturnu lokalitet u prostoru značajki, kao i koriste udruživanje unutar pristranog frekvencijskog područja kako bi se smanjile translacijske varijacije i prilagodile poremećajima i malim promjenama u prostoru značajki [22]. Mukhamadiyev i sur. predložio end-to-end duboku neuronsku mrežu-skrivenu Markovljev model prepoznavanja govora model i hibridnu konekcionističku vremensku klasifikaciju (CTC)-mrežu pažnje za uzbečki jezik i njegove dijalekte. Predloženi pristup smanjuje vrijeme obuke i poboljšava točnost prepoznavanja govora učinkovitom upotrebom funkcije cilja CTC u obuci modela pažnje [23]. Ekstrakcija značajki i klasifikacija pomoću modela jednodimenzionalne konvolucijske neuronske mreže (CNN), koja dijeli zvučne signale srca na normalne i abnormalne izravno neovisno o elektrokardiogramu (EKG), predložena je u [24]. Tvrde da je točnost klasifikacije veća u 1D CNN-u nego u 2D CNN-u za zvučne signale srca korištene u ovoj studiji kada je jezgra konvolucije manja od 52 jer velika jezgra konvolucije može dovesti do složenosti računanja i oduzima sve više vremena . U [25], duboka neuronska mreža je trenirana da maksimizira posteriornu točnost sekvenci stanja akustičkih modela koji se tiču ​​sekvenci značajki govora pomoću baze podataka TIMIT (TIMIT Acoustic-Phonetic Continuous Speech Corpus).

3. Predobrada: Pregled materijala

Dodatak Cistanche blizu mene-Poboljšanje pamćenja

U tu svrhu nezaobilazan je razvoj brzih algoritama za izdvajanje parametara značajki iz govornih signala i parametarskih prikaza, izdvajanje korisnih i informativnih uzoraka za obradu, te razvoj programa za implementaciju spektrograma odabranih akustičkih segmenata.

Sustavi za prepoznavanje govora sastoje se od dva glavna podsustava:

Primarna obrada govornih signala (fonogram);

Klasifikacija akustičkih simbola korištenjem inteligentnog algoritma (spektrogram).

Prvi podsustav generira akustičke simbole kao skup informativnih akustičkih svojstava signala i karakteristika signala. Drugi podsustav pretvara govorni signal u parametarski oblik na temelju dobivenih akustičkih karakteristika. Obrada govornog signala sastoji se od sljedećih faza:

Razdvajanje granica govornog signala;

Digitalno filtriranje;

Segmentacija;

Primjena prozora za glačanje;

Spektralna transformacija i normalizacija spektralnih frekvencija.

Ovi se koraci intenzivno koriste za izvlačenje parametara značajki iz govornih signala, a njihove glavne značajke razmatraju se u nastavku.

3.1. Razdvajanje granica

Izdvajanje samo dijelova govora iz dolaznog signala ili određivanje početnih i završnih trenutaka rečenice u bučnom okruženju ključni je zadatak u obradi govora. Za rješavanje ovog problema koriste se sljedeća svojstva govornog signala: kratkotrajna energija govornog signala, broj točaka koje se sijeku na nuli, gustoća raspodjele vrijednosti polja tišine unutar signala i spektralna entropija. Tradicionalni sustavi za prepoznavanje govora koriste tehnike koje se temelje na prijelaznim i spektralnim energijama signala (npr. detekcija glasovne aktivnosti) za određivanje granica govora od dolaznih govornih signala [26-28].

Glavni parametri govornog signala su kratkotrajna energija govornog signala i broj točaka koje prolaze kroz nulu. U pravilu se parametri govornog signala brzo mijenjaju tijekom vremena; stoga je uobičajeno obraditi govorni signal u fragmente duljine od 10 do 30 ms koji se ne preklapaju. Govorni signal je stacionaran unutar ovog raspona, a područja tišine u govornom signalu uklanjaju se izračunavanjem prijelazne energije. Algoritam za rješavanje ovog problema podijeljen je u N nizova od 256 kratkotrajnih energetskih vrijednosti sljedećeg govornog signala.

Izračun energije svakog fragmenta dijeljenjem govornog signala prikladan je za paralelno i distribuirano računalstvo. Svaki fragment se samostalno obrađuje. Ako se obrada primijeni u višeprocesoru s n jezgri, bit će moguće izračunati energiju n fragmenata istovremeno. Stoga je moguće povećati učinkovitost paralelne obrade tijekom ove faze [29-32].

3.2. Broj prijelaza nule

Prijelaz nule je točka u kojoj se mijenja predznak matematičke funkcije (npr. iz pozitivnog u negativan), što je prikazano presjekom osi (nulta vrijednost) u grafu funkcije [33]. Frekvencija prelaska nule u signalu može biti najizravniji pokazatelj njegovih spektralnih svojstava. Na primjer, broj točaka koje prolaze kroz nulu u govornom signalu može se odrediti pomoću sljedeće jednadžbe:

Slika 1. Metoda razdvajanja govora na temelju spektralne entropijske analize.

3.3. Digitalno filtriranje

Osim tipičnog, korisnog signala, prisutne su razne vrste šuma. Budući da buka negativno utječe na kvalitetu sustava za prepoznavanje govora, rješavanje buke hitan je problem. Za smanjenje razine buke u sustavu koriste se dvije vrste digitalnih filtara: linijski filtar i početni filtar. Linearni filtar može se smatrati kombinacijom nisko- i visokofrekventnih filtara budući da hvata sve niske i visoke frekvencije. Početno filtriranje primjenjuje se kako bi se smanjio utjecaj lokalnih smetnji na karakteristične oznake koje se koriste za naknadnu identifikaciju. Govorni signal mora proći kroz niskopropusni filter za spektralno poravnanje [35].

3.4. Segmentacija

Segmentacija je proces dijeljenja govornog signala u diskretne fragmente koji se ne preklapaju. Signal se obično dijeli na govorne jedinice kao što su rečenice, riječi, slogovi, fonemi ili čak manje fonetske jedinice. Segmentacija snimaka koje sadrže iskaze brojnih govornika može se sastojati od pripisivanja dijelova iskaza određenim govornicima. Izraz "segmentne stanice" ponekad se koristi za označavanje podjele govornog signala u okvire prije njegove parametrizacije [36,37].

3.5. Spektralna transformacija

Potrebno je razlikovati glavne značajke govornih signala koji se koriste u kasnijim fazama procesa prepoznavanja govora. Početna obilježja određuju se analizom spektralnih svojstava govornih signala. Algoritam brze Fourierove transformacije obično se koristi za dobivanje spektralne frekvencije govornog signala [38,39].

3.6. Normalizacija spektralnih frekvencija

Cjelokupni računalni proces u inteligentnim algoritmima temelji se na pokretnim decimalnim brojevima. Stoga su parametri objekata koji se klasificiraju pomoću neuronskih mreža ograničeni na raspon [{{0}}.0, 1.0]. Rezultirajući spektar normalizira se između 0 i 1 kako bi se primijenila spektralna obrada pomoću neuronske mreže. Da bi se to postiglo, svaka se komponenta vektora dijeli na svoje najveće komponente.

Spektralne metode obrade omogućuju korištenje svih uzoraka podataka koji su dobiveni iz govornog signala. Mnogi govorni signali imaju specifičnu frekvencijsku strukturu i spektralna svojstva. Spektralne metode omogućuju visokopreciznu obradu govornih signala. Nedostaci spektralne obrade uključuju nisku fleksibilnost u lokalnim karakteristikama signala, nedostatak spektralnih dimenzija i relativno visoke računalne troškove.

Fourierova transformacija, wavelet analiza i mnogi drugi algoritmi intenzivno se koriste u spektralnoj obradi govornih signala. Fourierova transformacija se koristi u mnogim područjima znanosti, uključujući obradu govora. U obradi govornog signala, Fourierova transformacija pretvara signal iz vremenskog polja u spektralno polje kao frekvencijsku komponentu [40].

U prethodnim studijama, diskretna Fourierova transformacija (DFT), diskretna kosinusna transformacija (DCT), kratkoročna Fourierova transformacija i valićna transformacija primijenjene su za spektralnu analizu. Ove su metode korištene za transformaciju fragmenata govornog signala u frekvencijsku domenu i izračunavanje spektra. Za izradu paralelnih algoritama za spektralne transformacije korišteni su paketi TBB i OpenMP. U ovim metodama, naredba dijeli signal u okvire; na primjer, N=16, 32, … ili 4096 za svaki okvir [4]. Veličina svakog kreiranog okvira jednaka je veličini bloka cache memorije jer je cache memorija faktor koji utječe na učinkovitost paralelnog procesiranja. Rezultati ubrzanja prikazani su na slici 2.

Slika 2. Rezultati ubrzanja za (a) procesore s četiri i (b) procesore s osam jezgri.

Za programsku implementaciju algoritama paralelne obrade provedena je serijska i paralelna obrada na procesorima s četiri i osam jezgri, koji su primijenjeni pomoću osobnih računala i poslužitelja, kako je navedeno u tablici 1.

Tablica 1. Karakteristike Intel procesora.

Glavna značajka DCT algoritma je periodičnost. Prednost DCT-a je u tome što nastoji većinu energije signala koncentrirati na mali broj čimbenika. Sljedeće jednadžbe daju elemente matrice koeficijenata:

gdje je L(k) vrijednost DCT-a, k je indeks koeficijenata, x(n) predstavlja podatke, a N je veličina okvira.

Parametri Fourierove analize osnova su metoda koje se koriste za generiranje vektora značajki u većini sustava za prepoznavanje govora u digitalnoj obradi govornih signala unutar spektralne domene. Mel-frekvencijski kepstralni koeficijenti (MFCC) [41] i tehnike linearnog prediktivnog kodiranja (LPC) [42,43] koriste se u Fourierovoj analizi za generiranje slika spektrograma iz govornih signala. Spektri dobiveni pomoću Fourierove analize daju sažete i precizne informacije o govornom signalu, kao što je prikazano na slici 3.

Slika 3. DFT: (a) promjena frekvencijskog raspona unutar vremenske domene i (b) spektrogram.

U eksperimentima su za spektralnu analizu korišteni dvodimenzionalni (2D) signali. Karakteristike 2D spektralne analize koje se koriste u algoritmima za paralelnu obradu slike prikladne su za paralelnu obradu u višejezgrenim procesorima [38]. Konkretno, vektori i matrice izravne i inverzne transformacije imaju binarne dimenzije, a kompatibilnost ove višejezgrene procesorske arhitekture može učinkovito povećati brzinu računanja. Stoga smo za hardversku implementaciju algoritama koji su korišteni za obradu 2D signala primijenili sekvencijalno i paralelno procesiranje na računalu s različitim karakteristikama procesora (Tablica 2.)

Tablica 2. Karakteristike primjene Intel procesora.

Cijeli 2D signal podijeljen je na identične fragmente različitih veličina u svakoj fazi [44]. Vrijednosti odabranih fragmenata bile su između razlučivosti piksela od 16 × 16 i 1024 × 1024. Brzina paralelnog DCT algoritma pomoću paketa OpenMP u usporedbi s brzinom sekvencijalnog algoritma prikazana je na slici 4. Upotreba paralelne 2D spektralne analize algoritam na višejezgrenim procesorima daje rezultat overclockinga koji je blizak broju jezgri.

Slika 4. Rezultati ubrzanja za 2D paralelnu spektralnu analizu.