Tantárgy » BMEVITMMB01
Multimédia tartalmak intelligens feldolgozása
Multimedia Content Technologies
A tantárgyleírás hatályossága
Hatályosság kezdete:
2026. March 21.
Hatályosság vége:
—
| Tantárgy neve (magyarul, angolul) |
Multimédia tartalmak intelligens feldolgozása
Multimedia Content Technologies
|
||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Tantárgykód | BMEVITMMB01 | ||||||||||||
| Tantárgyjelleg | — | ||||||||||||
| Képzési szint | — | ||||||||||||
| Kurzustípusok és óraszámok (heti/féléves) |
|
||||||||||||
| Tanulmányi teljesítmény/értékelés típusa | vizsga | ||||||||||||
| Tantárgy kreditértéke | 4 | ||||||||||||
| Tantárgyfelelős |
Szűcs Gábor, PhD
beosztás: adjunktus
elérhetőség:
szucs.gabor@vik.bme.hu
|
||||||||||||
| Tantárgyat gondozó oktatási szervezeti egység |
Távközlési és Mesterséges Intelligencia Tanszék
|
||||||||||||
| Kar | Villamosmérnöki és Informatikai Kar | ||||||||||||
| Tantárgy weboldala | — | ||||||||||||
| Tantárgy elsődleges mintatantervi jellege | — | ||||||||||||
| Közvetlen előkövetelmények – Erős előkövetelmény | nincs | ||||||||||||
| Közvetlen előkövetelmények – Gyenge előkövetelmény | nincs | ||||||||||||
| Közvetlen előkövetelmények – Párhuzamos előkövetelmény | nincs | ||||||||||||
| Közvetlen előkövetelmények – Mérföldkő előkövetelmény | nincs | ||||||||||||
| Közvetlen előkövetelmények – Kizáró feltétel | nincs |
Célkitűzés
Tantárgyprogram
A tantárgy a tartalomelemzés alapfogalmaitól indulva bemutatja a multimédia tartalmak feldolgozásánál használt módszereket és azok alkalmazásait.
- Bevezetés: Tartalomelemzés alapfogalmainak ismertetése. Multimédia tartalom elemzési problémák, alkalmazások.
- Multimédia előfeldolgozás: index (reprezentáció) építés: generikus multimédia indexelő eljárás.
- Keresés, multimédia query típusok: hasonlósági küszöbön belüli összes multimédia tartalom keresése, leghasonlóbb keresése, összes pár keresése. Kép keresése mintakép, felhasználói rajz, vagy kép jellemzőinek specifikálása (szín, textura, alak) alapján. Kontextus-függő képkeresés.
- Hangfeldolgozás, akusztikai lényegkiemelés módszerei: ablakozás, burkolóspektrum számítás, zajok és lineáris torzítások hatásának mérséklése, a beszélők fiziológiai eltéréseinek kompenzálási módszerei. Audio jelek előfeldolgozásának módszerei. Szignálkeresési, zenefelismerési technikák.
- Statisztikai alapú beszédfelismerés: akusztikai modellek. Koartikuláció-modellezés, fonetikus döntési fák. Rejtett Markov-modellek, Gaussian Mixture Model és mély neuronhálók használata, dekódolás, optimalizálási technikák.
- Diarizálás, beszélő nemének kategorizálása. Nyelvi, lexikai modellek, nyelvfüggőség/-függetlenség. Konfidencia.
- Jellemző kinyerési módok. Leírók előállítása, Fisher vektor.
- Multimédia tartalmak összekapcsolási lehetőségei. Panorámakép összeállítás kisebb képekből. Arcdetektálás és csoportosítás.
- Videó elemzés. Objektumok követése jellemző pontok alapján, MPEG1 makroblokk elmozdulás becslés.
- Zene, és mozgóképek automatikus annotációja.
- Kép (objektum) felismerés, képi szózsák modell. Random Forest és alkalmazása az objektumfelismerésben.
- Multimédia tartalmak automatikus rendezése: Jellemző kép kiválasztás fényképalbumokból. Kép- videó- és hangállományok automatikus csoportosítása.
- Különböző típusú médiatartalmak visszakeresése, találati lista diverzifikáció.
- Multimodális tartalomelemzés, kiértékelési módszerek: Kiértékelési karakterisztikák. Benchmarkok.
- Multimédia index építés
- Random Forest használata
- Jellemző kinyerési módok vizsgálata
- Multimédia elemzési gyakorlat
- Audio jelek előfeldolgozása
- Statisztikai alapú beszédfelismerési gyakorlat
A tárgy célkitűzése a multimédia tartalmak automatikus felhasználásához szükséges módszerek oktatása, amelyek segítségével az intelligens rendszerek kezelni, szűrni, felismerni, elemezni, rendezni tudják a multimédia állományokat. A hallgatók részletesen megismerkedhetnek a multimédia tartalmak hatékonyan indexeléséhez, kereséséhez, annotációjához, csoportosításához szükséges technikai apparátussal, hang- kép- és videofeldolgozási algoritmusokkal, platformokkal és gyakorlati alkalmazásokkal, melyek rámutatnak a közvetlen ipari alkalmazhatóság jelentőségére (pl. beszédfelismerés, képi objektumfelismerés). A félév végére a hallgatók elsajátítják azokat a módszereket, melyek alkalmasak arra, hogy a napjaink média-intenzív világában általánossá vált heterogén, zajos és hiányos multimédia tartalmakat is kezeljenek, elemezzenek és biztosítsák gyors kereshetőségüket.
Tanulmányi eredmények
Ez a tantárgy a KKK rendeletben meghatározott, következő kompetenciák fejlesztését szolgálja:
Tudás
Nincsenek rögzített tanulási eredmények.
Képességek
Nincsenek rögzített tanulási eredmények.
Attitűd
Nincsenek rögzített tanulási eredmények.
Autonómia és felelősség
Nincsenek rögzített tanulási eredmények.
Oktatási módszertan
Heti 2 óra előadás, 1 óra gyakorlat
Tanulástámogató anyagok
Online források
Francisco Escolano, Pablo Suau, Boyán Bonev: Information Theory in Computer Vision and Pattern Recognition, Springer, Heidelberg, 2009. ; Németh G, Olaszy G. (szerk.) A magyar beszéd: Beszédkutatás, beszédtechnológia, beszédinformációs rendszerek, Akadémiai Kiadó, Budapest, 2010.; Ajay Divakaran (ed.): Multimedia Content Analysis: Theory and Applications, Springer, 2009.
A tantárgy teljesítéséhez ajánlott előzetes ismeretek
Tudás típusú kompetenciák
(azon előzetes ismeretek összessége, amelyek megléte nem kötelező, de a tantárgy eredményes teljesítését nagyban elősegíti)
Médiainformációs technológiák és eszközök.
Képesség típusú kompetenciák
(azon előzetes képességek és készségek összessége, amelyek megléte nem kötelező, de a tantárgy eredményes teljesítését nagyban elősegíti)
nincs
Ajánlott (nem kötelező) előzetesen megszerzendő kompetenciák
(azon ajánlott (nem kötelező) előzetesen megszerzendő kompetenciák összessége, amelyek jelentősen hozzájárulnak a tantárgy eredményes teljesítéséhez)
Médiainformációs technológiák és eszközök.
Általános szabályok
Követelmények:
A szorgalmi időszakban: 1 db zárthelyi és 1 nagy házi feladat. A vizsgaidőszakban: A vizsga módja: írásbeli. Az aláírás feltétele a nagy házi feladat és a zárthelyi (beleértve a pótló zárthelyiket is: lásd a következő pontban) legalább elégséges szintre történő megírása.
Pótlási lehetőségek:
A zárthelyi pótlására a szorgalmi időszakban egy lehetőséget biztosítunk. Azok számára, akiknek nem sikerült sem a zárthelyi, sem a pótzárthelyi: a pótlási időszakban 1 alkalmat biztosítunk egy újabb zárthelyi dolgozatra. Az aláírás feltétele valamelyik zárthelyi (első vagy a pót- vagy a pótpót-zárthelyi) legalább elégséges szintre történő megírása.
Teljesítményértékelési módszerek
Szorgalmi időszakban végzett teljesítményértékelések részletes leírása
Nincs megadva részletes értékelés.
Szorgalmi időszakban végzett teljesítményértékelések részaránya
Nincs megadva részarány.
Vizsgaidőszakban végzett teljesítményértékelések részletes leírása
Nincs megadva részletes értékelés.
Vizsgarészek részaránya
Nincs megadva részarány.
Érdemjegy megállapítása
Nincs megadva érdemjegy határ.
Jelenléti és részvételi követelmények
Nincs megadva jelenléti követelmény.
Javítás, ismétlés és pótlás különös szabályai
Nincs megadva.
Rövid leírás
Nincs megadva.
Részletes leírás
Nincs megadva.
Ajánlott tantárgyak
Nincs
A tantárgy elvégzéséhez szükséges tanulmányi munka
Nincs megadva munkaidő bontás.
Tantárgykövetelmények hatályossága
Tantárgykövetelmények hatályosságának kezdete:
—
Tantárgykövetelmények hatályosságának vége:
—
Tantervi elhelyezés
Nincsenek rögzített tantervi elhelyezések ehhez a tárgyverzióhoz.