Médiainformatikai rendszerek

1.     hét

Alapfogalmak. Médiatartalom kezelésének folyamata.  Feladatkörök és alrendszerek. A multimédia (hang, kép, videó) állományok kezelésének fő területei.

2.     hét

Audio adatok feldolgozása. Időben (lényegileg) nem változó hangrészletek detekciójának alapjai. Short Time Fourier Spectrum, ablakozás, spektrogram. Szignálkeresés.

3.     hét

Zeneszámok felismerése. A valós idejű mintaillesztés kihívásai, additív zaj, lineáris és nemlineáris torzítás hatásai, interferencia-jellegű zavarás és ezek kezelésének lehetőségei. Akusztikai ujjlenyomat (Acoustic Fingerprint) fogalma és módszerei. Esettanulmány: Shazam.

4.     hét

Variábilis hang- és képjelek felismerése: általános osztályozási feladatok statisztikai alapon, likelihood, sűrűségfüggvény, tanítás-tesztelés. Bayes-formula.

5.     hét

Multimédia osztályozási feladatok többváltozós Gaussian Mixture Model (GMM) alapokon.

6.     hét

Maximum Likelihood vs. Discriminative Training - elméleti és gyakorlati megfontolások hang- és képi adatokon. Multi Layer Perceptron hálózatok alkalmazása médiainformatikai problémákra.

7.     hét

Időben változó multimédia jelek kezelése: dinamikus idővetemítés (Dynamic Time Warping), rejtett Markov-modellek (Hidden Markov Models) és változataik. A beszédfelismerés alapjai.

8.     hét

Korszerű beszédfelismerési technológiák, akusztikai, kiejtési és nyelv-modellek. Feliratozási módszerek és szabványok. Esettanulmány: MTVA és BBC feliratozás.

9.     hét

Mély tanulás: előrecsatolt, konvolúciós és rekurrens mély neuronhálók alkalmazása média adatok (szöveg, hang, kép, videó) automatikus annotálására.

10.    hét

Multimédia technológiákon alapuló komplex feladatok: Alakzat felismerés képeken, objektum követés videókon. Arcdetektálási és arcfelismerési megoldások. Videó feldolgozási módszerek a gyakorlatban: Videó alapú gesztusfelismerés kéz általi gesztusok felismerésére.

11.    hét

Metaadatok: szemantikus metaadatok. multimédia metaadat szabványok. EBU/SMPTE metaadatok, Dublin Core, Material Exchange Format (MXF).

12.   hét

Multimédiás adatbázisok. Multimédia visszakeresés. Keresési módok, típusok, algoritmusok. A visszakereső rendszer jóságának mérése.

13.   hét

Digital Media Management Systems (DMMS) / Multimedia Asset Management rendszerek felépítése: gyűjtő, tároló, megjelenítő alrendszer. Életciklus tulajdonságok, integrációs eszközök. Tartalomkezelő rendszerek architektúrája, típusai: DAM, DM, KM, Web CMS, ECM. A rendszerek átfogó modellje

14.    hét

Digitális archiválás: feladata, lehetőségei, technikái. Archiválási stratégiák. On-line, near-line, off-line, off-site hozzáférhetőség. A folytonossági szintek. Rekordmenedzsment.

Gyakorlatok az alábbi témakörökből (nem kizárólagosan és nem teljes körűen) kerülnek megtartásra: audio lényegkiemelés, audio fingerprint, GMM, beszédfelismerés, nyelvmodellezés, alkalmazott mély neuronhálók Kerasban, annotálási feladat képeken,  multimédia visszakeresés, vizualizációs eszközök, videó feldolgozás.