Sound and Speech Recognition Technologies

Esettanulmányok:

Laptopos feladatmegoldások:

Törzsanyag:

1. hét: Bevezetés

A hang, mint hangnyomás-idő függvény leírása, kezelése, osztályozása (pl. tranziens, stacionárius, kvázi-periodikus) és jellemzői (érzeti, fizikai). A felismerési feladatok (pl. szignál, reklám, zene, zaj, beszéd felismerése). A hangnyomás-idő függvény reprezentációja: az STFT szükségessége, ablakozás szerepe, spektrogramm.

2-3. hét: Szignál és zeneszámfelismerés

Szignálfelismerés, lineáris időillesztés, spektrális távolság számítása, keresés adatfolyamban (stream-ben), első- és másodfajú hiba. A valós idejű mintaillesztés kihívásai, additív zaj, lineáris és nemlineáris torzítás hatásai, interferencia-jellegű zavarás és ezek kezelésének lehetőségei. Zeneszám/reklám felismerés. Akusztikai ujjlenyomat (Acoustic Fingerprint) fogalma és módszerei.

4-5. hét: Időbeli vagy hangszínbeli változatosság kezelése

Dinamikus idővetemítés szükségessége és alapelve. Akusztikai lényegkiemelések, érzeti frekvenciaskálák (Mel, Bark, Gammatone), érzeti hangerősség skálák. Matematikai lényegkiemelések alkalmazói szinten: PCA, DCT, LDA. Statisztikai modellezés és a mintaillesztés alapmódszerei és szükségessége (spektrális variabilitás kezelése). Folytonos valószínűségsűrűség-függvény alkalmazása hasonlósági mérték számítására.

6-7. hét: A beszédfelismerés alapjai

Időbeliség és spektrális változékonyság együttes kezelése HMM-GMM rendszerrel. Modellparaméterek ML becslése, felismerés Viterbi algoritmussal. A beszédfelismerés MAP alapegyenlete. Akusztikus, lexikális és nyelvi modellek, beszédfelismerési modellhierarchia. A valós idejű beszédfelismerés kihívásai, részleges és optimalizált Viterbi-dekódolás. A felismerési eredmények kiértékelése, mértékei. Beszéd- és hangfelismerési konfidencia elve és gyakorlati számítása.

8-9. hét: A beszéd-szöveg átalakítás speciális technikái

Felismerési hálózatépítés és optimalizálás (tudásforrás-integráció) WFST alapon. A beszédhangok egymásra hatása, a koartikuláció kezelése és szintjei. Fonéma és graféma alapú környezetfüggő modellezés bináris ML döntési-fákkal. Graféma-fonéma átalakítás. A nyelvmodellezés kihívásai. Magasabb fokszámú n-gram modellek, simítási módszerek, implementációs kérdések. Morféma-szerű nyelvi egységek alkalmazása. OOV modellezés, osztály n-gramok.

10-11. hét: Hibacsökkentés adaptációval és diszkriminatív tanítással

Az adaptáció szerepe és típusai a beszédfelismerésben. Regressziós (MLLR) és részleges újratanításon (MAP) alapuló technikák. Modell- és jellemzőtérbeli (feature-space) adaptáció. Beszélőnormalizálási technikák. SAT (beszélőadaptív tanítás). Diszkriminatívan tanított akusztikus modellek. MMI és MPE hibaminimalizálás.

12-13. hét: A “Deep learning” beszédfelismerési alkalmazásai

GMM vs. MLP modellek. Mitől javultak meg a mesterséges neuronháló alapú modellek? Tandem, bottleneck és hibrid architektúrák. Mély tanulás a beszédfelismerésre alkalmazva, DNN és válfajai, tanításuk. Diszkriminatív nyelvi modellek, LSTM, RNN alkalmazása. End-to-end speech recognition: a gépi (mély) tanulás mindent visz? Félig felügyelt és felügyelet nélküli tanítás a beszédfelismerésben.

14. hét: A beszéd egyéb modalitásainak felismerése, alkalmazások

Beszélő felismerése. Verifikáció és az UBM alkalmazása, felügyelet nélküli beszélőszegmentálás, diarizáció. Visszacsatolás a beszédfelismerésbe. A hanglejtés és ritmika felismerése és használata a beszédfelismerésnél. Nyelvek közötti hordozhatóság. Nyelvfelismerés hangból. A hang- és beszédfelismerés alkalmazásai, médiamonitorozás, diktáló rendszerek.

Rövidítésjegyzék:

DCT: Discrete Cosine Transform

DNN: Deep Neural Network

FST: Finite State Transducer

GMM: Gaussian Mixture Model

HMM: Hidden Markov Model

LDA: Linear Discriminant Analysis

LSTM: Long-Short Term Memory

MAP: Maximum A Posteriory

ML: Maximum Likelihood

MLP: Multi Layer Perceptron

MLLR: Maximum Likelihood Linear Regression

MMI: Maximum Mutual Information

MPE: Minimum Phone Error

MTVA: Médiaszolgáltatás-támogató és Vagyonkezelő Alap

OOV: Out of Vocabulary

PCA: Principal Component Analysis

RNN: Recurrent Neural Network

RWTH: Rhein-Westfalische Technishe Hochshule

SAT: Speaker Adaptive Training

STFT: Short Time Fourier Transform

UBM: Universal Bakground Model

WFST: Weighted Finite State Transducers