Beszédinformációs rendszerek

1. Bevezetés

Miért fontos a beszédtechnológia? Milyen főbb elemekből épül fel egy beszédinformációs rendszer (pl. intelligens személyi asszisztens)?

A nyelv, a beszéd és a szöveg az emberi kommunikációban. A természetes beszédlánc elemei és működésük. Az emberi beszédkeltés, a beszédészlelés és a beszédmegértés alapfogalmai. A beszéd akusztikai szerkezetének legfontosabb jellemzői. A beszéd szintjei, redundanciája, a hordozott kiegészítő információk.

2., 3, Elemi jelfeldolgozás, beszédkódolás és tömörítés

A beszédkódolás szerepe a digitális beszédtárolás, valamint az infokommunikációs hálózatok rendszereiben. A beszéd továbbításához, tárolásához és elemzéséhez szükséges elemi jelfeldolgozási lépések megismerése, figyelembe véve a beszéd speciális tulajdonságait. Beszéd/csend és más akusztikus jelek megkülönböztetése. A beszédkódolás alapvető módszerei, az aktuálisan elterjedt formátumok megismerése. A kódolás hatása más beszédtechnológiai eszközökre. A kódolt beszéd minősítése (érthetőség, természetesség).

4, Beszédválaszú rendszerek alapok

A gépi beszédkeltés alapfogalmai (kötött, kötetlen és vegyes szókészlet). A kötött szókészletű akusztikai adatbázis tervezési szempontjai és megvalósításnak lépései. Vegyes rendszerek kialakításának indokai, megoldási lehetőségei. Nagy hanghűségű prozódia módosítási algoritmusok. Kötetlen szókészletű (text-to-speech és concept-to-speech) rendszerek felépítése, alapvető osztályai.

5, 6 A beszéd- és szövegadatbázisok jelentősége, Szövegfeldolgozási technikák

Adatbázisok leírása, tervezése, feldolgozási módszereik. Az akusztikus környezet szerepe. Felismerő létrehozásának fázisai megismerése. Adatbázisok Szótárkészlet Adatbázisok automatikus bővítése, adaptivitás. A prozódia szerepe. Többnyelvű rendszerek kialakítása. Fejlesztői környezetek és eszközök. Gépi tanításhoz optimalizált adatbázisok előállítása. Központozások kezelése, szöveg elő- és utófeldolgozás.

7, 8, Fejlett beszédválaszú rendszerek

Egységes szövegábrázolási, szövegelemzési és átalakítási feladatok és kapcsolódó adatbázisok. Kötetlen szókészletű akusztikus adatbázisok tervezési szempontjai és elkészítésük módszerei. Beszédválasz szövegkorpuszának kialakítása. Az adatbázis elkészítése, módosítása, és ezek algoritmusai. A prozódia (hangmagasság, hangerő, ritmusváltozás) jelentősége és megvalósítása. Többhangú rendszerek és automatikus hangkonverzió. Többnyelvű rendszerek. Nyelvdetekció, ékezetesítés. Egységes hangjelölési rendszerek. Fejlesztői környezetek. A rendszerek automatizált megvalósításának algoritmusai, gépi tanulás alapú megoldások.

9, Beszéd alapú osztályozás

A beszéd osztályozás fogalma, felhasználási területei. Hangalapú beszélőazonosítás alapfogalmai, beszélő azonosítás és igazolás, UBM, likelihood-ratio framework. Voice activity detection. Az alkalmazott eljárások matematikai alapjainak bemutatása. Az alkalmazott gépi tanulás alapú eljárások. A beszélőazonosítás felhasználása a gyakorlatban.

10, 11 Beszédfelismerés

A beszédfelismerés alapfogalmai és alapvető architektúrái.
Referencia-bázisú mintaillesztés. A beszédfelismerés MAP alapegyenlete. Rejtett Markov-modellek (HMM) alkalmazása a beszéd-szöveg átalakításban. Akusztikus, kiejtési és nyelvi modellezés, tudásforrás-integráció a WFST (Weighted Finite State Transducer) keretrendszerben. Hibrid HMM-neurális és end-to-end neurális megközelítések beszédfelismerésre. CTC (Connectionist Temporal Classification) tanítás. Korszerű neurális architektúrák beszédfelismerésre. Önfelügyelt és felügyelet nélküli beszéd-szöveg átalakítási technikák. Modellek alkalmazásra szabása, finomhangolás. Szöveg írott formájának visszaállítása. Offline és online beszédfelismerés, a diktálás folyamata.

12, Beszédinformációs rendszerek tervezésének és megvalósításának lépései.

Tipikus alkalmazási környezetek, meghatározó alkalmazói rendszerek (pl ügyfélszolgálat automatizálás, egészségügy, rehabilitáció). A vállalati akusztikai arculat fogalma és színvonalas biztosításának módszerei.

13, 14 Beszédfunkciók alkalmazása információs rendszerekben

Beszéddel informáló dialógus rendszerek alapfogalmai. Rendszer vezérelt, felhasználó vezérelt és vegyes kezdeményezésű rendszerek. DTMF és beszédfelismerő alapú vezérlés beszédválaszú rendszerekben. Uni- és multimodális rendszerek. Modalitás konverzió és szerepe a globális személyes kommunikációs rendszerekben.  

A laborok tematikája:

1. labor: Alapvető beszédakusztika, Energia mérés, módosítás, spektrum előállítás, elemzés, F0 mérés
2. labor: Kvantálás, mintavételezés, beszédtömörítés, beszédszerkesztés
3. labor: Beszédszintézis
4. labor: Beszélőazonosítás
5. labor: Beszédfelismerés
6. Labor: Dialógus rendszerek összeállítása (pl. chatbot)