MI alapú ember-gép interakció

A tárgy egymásra épülő és összefüggő blokkokból épül fel, mely blokkok két egymást követő előadásból ill. egy gyakorlatból állnak.

Bevezetés, intelligens ember-gép interakciók, mélytanulási alapok

 ● Mitől intelligens egy ember-gép interakció. Mesterséges intelligencia és gépi, ill. mélytanulás kapcsolata. Esettanulmányok.
● A felügyelt mélytanulási technikák áttekintése (Multi-layer perceptron, konvolúciós hálók, rekurrens hálók, figyelmi mechanizmus és transzfomer struktúrák). Tanítás és inferencia kihívások a valós életben.
● Inferencia a gyakorlatban (deployment), hálózat-tömörítési és egyéb (pl. kvantálási) technikák és szoftver-eszköztárak.

Felhasználói képi adatok feldolgozása

● A gépi látás legfőbb kihívásai és alkalmazási területei.
● 2D konvolúción alapuló, korszerű mélytanulási modellek. Pretraining, transfer learning képeken, személyreszabás. 
● Önfelügyelt tanulás a gépi látásban, kihívások, előnyök és hátrányok, gyakorlati alkalmazások.
● A képfeldolgozás mélytanulási szoftver-eszköztárai, egyszerű példák órai megoldása/megoldásvázlata.

Hangadatok feldolgozása

● Wake-word (ébresztőszó) detektálás.
● Gépi beszédleiratozás, neurális akusztikus modellek.
● Nyelvmodellek a beszédleiratozásban.
● Felügyelten és önfelügyelten előtanított modellek finomhangolása a gyakorlatban.
● Modellek performancia mérései

Személyreszabható text-to-speech

● Mélytanulás alapú gépi beszédszintézis, neurális modellek
● Beszédmodellek tanítása egy- és több-beszélő esetén
● Szintézismodellek alkalmazásának és továbbfejlesztésének lehetőségei
● Modellek minőségi és performancia mérései

Emberi emóciók felismerése

● Az érzelmek megjelenési módjai, modellezése, leírási módjai gépi feldolgozáshoz. Adatbázis építési ismeretek és technikák.
● A gépi felismeréshez alkalmazott AI modellezési technikák és eljárások. Vizuális adatok modellezése, képi emóció detektálás. Beszédklasszifikációs eljárások alkalmazása az érzelemfelismeréshez, hangalapú detektálás. Nyelvi elemek modellezése és reprezentációs technikái a szövegalapú felismeréshez. Szentiment elemzés.
● Gyakorlat: gépi érzelemfelismerési esettanulmányok

UX megvalósítása időseket és fogyatékossággal élőket támogató rendszerekhez

● Időseket támogató rendszerek, Ambient Assisted Living (AAL), elöregedő társadalom. Fogyatékossággal élőket (látássérültek, beszédfogyatékosok, sztrókon átesettek) támogató rendszerek. Életfunkciójukban tartósan károsodott vagy veszélyeztetett személyek eredeti életkörülményeinek segítése infokommunikációs eszközökkel. Egészségvédelmi célok.
● Szenzoradatok feldolgozása, testen viselhető eszközök. Vitális funkciók folyamatos vagy rendszeres figyelése, a megfigyelt értékek elemzése. Elesésdetekció mély tanulás alapon. Lakásban elhelyezett mozgásdetektorok vagy használati tárgyakba helyezett elektronikus egységek összekötése telekommunikációs rendszerrel.
 ● Gyakorlat: esettanulmányok az időseket és fogyatékossággal élőket támogató rendszerekhez.

Egyedi interface-ek és komplex esettanulmányok

● Agy-számítógép interfészek (Brain-Computer Interface, BCI) elméleti, anatómiai és információtechnológiai alapjai, alkalmazási lehetőségei.
● Komplex hang és/vagy képi kapcsolatra épülő ember-gép interakciós rendszerek bemutatása, konklúziók.

A gyakorlatok részletes tematikája: 

● Inferencia a gyakorlatban (deployment), hálózat-tömörítési és egyéb (pl. kvantálási) technikák és szoftver-eszköztárak.
● A képfeldolgozás mélytanulási szoftver-eszköztártárai, egyszerű példák órai megoldása/megoldásvázlata.
● Felügyelten és önfelügyelten előtanított beszédleiratozó modellek finomhangolása a gyakorlatban. Teljesítmény mérése.
● Személyreszabható text-to-speech: A mélytanulás alapú modellek alkalmazása, teljesítmény mérése, tematikához illesztése. A modellek továbbfejlesztése, optimalizálása az adott feladathoz, modellek adaptálása adott beszélőhöz.
● Gépi érzelemfelismerési esettanulmányok. Jellemzőkinyerő, szövegelemző algoritmusok alkalmazása, gépi tanuló modellek tanítása, tesztelése és teljesítmény mérése.
● Esettanulmányok az időseket és fogyatékossággal élőket támogató rendszerekhez. PaeLife (Personal Assistant to Enhance the Social Life of the Seniors), StrokeAid (MonddKi), VUK (Visionless sUpporting frameworK) és APH-ALARM (universal monitoring system with an alerting ability for older people with communication difficulties after stroke) projektekből
● Egy egyszerűbb, de mélytanulási modelleket alkalmazó audio alapú interface megtervezése rendszerterv szintjén.