A tantárgyleírás hatályossága
Hatályosság kezdete:
—
Hatályosság vége:
—
| Subject name (Hungarian, English) |
Beszédbányászat
Speech Mining
|
||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Subject code | BMEVITMAV11 | ||||||||||||
| Subject type | — | ||||||||||||
| Training Level | — | ||||||||||||
| Course types and hours (weekly/semester) |
|
||||||||||||
| Assessment type | vizsga | ||||||||||||
| Credits | 2 | ||||||||||||
| Subject coordinator |
DR. Mihajlik Péter
contact:
mihajlik.peter@vik.bme.hu
|
||||||||||||
| Responsible department |
—
|
||||||||||||
| Faculty | |||||||||||||
| Subject website | http://alpha.tmit.bme.hu/~mihajlik/vitmav11 | ||||||||||||
| Primary curriculum type | — | ||||||||||||
| Direct prerequisites – Strong prerequisite | none | ||||||||||||
| Direct prerequisites – Weak prerequisite | none | ||||||||||||
| Direct prerequisites – Parallel prerequisite | none | ||||||||||||
| Direct prerequisites – Milestone prerequisite | none | ||||||||||||
| Direct prerequisites – Exclusion | none |
Objectives
Programme
1. hét: Bevezetés, alapfogalmak. A beszédjel idő és frekvencia-tartománybeli leírása. A beszéd és a nyelv kapcsolata, egységei – a beszédhangok szerkezete, fonémák, koartikuláció, morfémák, szavak, mondatok. A beszédfelismerés feladata(i). Beszédfelismerés = lényegkiemelés + mintaillesztés. Házi feladat-lehetőségek kiosztása.
2. hét: Lényegkiemelés: akusztikai információ kinyerése a hangnyomás-időfüggvényből. Gördülőspektrum, ablakozás, „zero-padding”. A rövid idejű amplitúdóspektrum érzeti transzformációi (hangosság- és hangmagasság-érzet). Házi feladatok rögzítése.
3. hét: A lényegkiemelés továbbfejlesztése. A beszéddinamika figyelembevétele. Beszélőnormalizációs technikák. A beszédátviteli csatorna lineáris torzításának kompenzálása.
4. hét: Mintaillesztés dinamikus idővetemítéssel (DTW): nyelvfüggetlen, beszélőfüggő, élőszóval tanítható „izolált” szavas beszédfelismerés.
5. hét: Beszélőfüggetlen beszédfelismerés. Izolált szavas HMM (Hidden Markov-model) szemléletes származtatása. Kiejtési modellek.
6. hét: Mintaillesztés rejtett Markov-modellekkel. Definíció és szemléltetés. A rejtett Markov-modellek alkalmazása a beszédfelismerésben. Viterbi-approximáció.
7. hét: Folyamatos beszéd felismerése. Nyelvi modell és a beszédfelismerés alapegyenlete. Az N-gram közelítés. Nyelvi modell-paraméterek becslése szövegadatbázis alapján.
8. hét: A koartikuláció modellezésének szükségessége. Szóbelsőben és szóhatárokon átívelő koartikuláció-modellezés. Fonetikus döntési fa és alkalmazása és variánsai.
9. hét: A nagyszótáras folyamatos beszédfelismerés. A beszédmodellek áttekintése, nyelvi szinteknek megfeleltetés. Integrációs és optimalizációs kérdések. A WFST (Weighted Finite State Transducer) keretrendszer és gépi beszédfelismerési alkalmazása.
10. hét: Dekódolás: az optimális felismerési útvonal hatékony közelítő számítása. Dekódolási megközelítések. Optimalizációs stratégiák, implementálási kérdések.
11. hét: Bányászat a beszédfelismerési kimenetben. Információ-kivonatolás és -visszakeresés módszerei. "Spoken term detection".
12. hét: A beszédfelismerő és beszédbányász rendszerek tesztelése, kiértékelése. Nyelvfüggő és nyelvfüggetlen modellezési és kiértékelés kérdések.
13. hét: Esettanulmányok: konkrét beszédfelismerési, beszédbányászati alkalmazások. A beszédfelismerési konfidenciaszámítás szükségessége és módszerei.
14. hét: Gyors alkalmazásfejlesztési technikák. Publikus és nyílt forráskódú fejlesztési eszközök. Kutatási és ipari (pl. Google, Nuance, Microsoft) trendek a gépi beszédfelismerésben, beszédbányászatban.
2. hét: Lényegkiemelés: akusztikai információ kinyerése a hangnyomás-időfüggvényből. Gördülőspektrum, ablakozás, „zero-padding”. A rövid idejű amplitúdóspektrum érzeti transzformációi (hangosság- és hangmagasság-érzet). Házi feladatok rögzítése.
3. hét: A lényegkiemelés továbbfejlesztése. A beszéddinamika figyelembevétele. Beszélőnormalizációs technikák. A beszédátviteli csatorna lineáris torzításának kompenzálása.
4. hét: Mintaillesztés dinamikus idővetemítéssel (DTW): nyelvfüggetlen, beszélőfüggő, élőszóval tanítható „izolált” szavas beszédfelismerés.
5. hét: Beszélőfüggetlen beszédfelismerés. Izolált szavas HMM (Hidden Markov-model) szemléletes származtatása. Kiejtési modellek.
6. hét: Mintaillesztés rejtett Markov-modellekkel. Definíció és szemléltetés. A rejtett Markov-modellek alkalmazása a beszédfelismerésben. Viterbi-approximáció.
7. hét: Folyamatos beszéd felismerése. Nyelvi modell és a beszédfelismerés alapegyenlete. Az N-gram közelítés. Nyelvi modell-paraméterek becslése szövegadatbázis alapján.
8. hét: A koartikuláció modellezésének szükségessége. Szóbelsőben és szóhatárokon átívelő koartikuláció-modellezés. Fonetikus döntési fa és alkalmazása és variánsai.
9. hét: A nagyszótáras folyamatos beszédfelismerés. A beszédmodellek áttekintése, nyelvi szinteknek megfeleltetés. Integrációs és optimalizációs kérdések. A WFST (Weighted Finite State Transducer) keretrendszer és gépi beszédfelismerési alkalmazása.
10. hét: Dekódolás: az optimális felismerési útvonal hatékony közelítő számítása. Dekódolási megközelítések. Optimalizációs stratégiák, implementálási kérdések.
11. hét: Bányászat a beszédfelismerési kimenetben. Információ-kivonatolás és -visszakeresés módszerei. "Spoken term detection".
12. hét: A beszédfelismerő és beszédbányász rendszerek tesztelése, kiértékelése. Nyelvfüggő és nyelvfüggetlen modellezési és kiértékelés kérdések.
13. hét: Esettanulmányok: konkrét beszédfelismerési, beszédbányászati alkalmazások. A beszédfelismerési konfidenciaszámítás szükségessége és módszerei.
14. hét: Gyors alkalmazásfejlesztési technikák. Publikus és nyílt forráskódú fejlesztési eszközök. Kutatási és ipari (pl. Google, Nuance, Microsoft) trendek a gépi beszédfelismerésben, beszédbányászatban.
A tárgy célja áttekintést nyújtani a beszédbányászati módszerekről, bevezetni az érdeklődőket egy olyan technológiába, mellyel különféle hang-, ill. audiovizuális adatbázisokból értékes tartalmi információk nyerhetők ki. Az alapelveket szemléletes, mérnöki, alkalmazásorientált szempontból szándékozzuk bemutatni, hogy a kurzust elvégzők hatékonyan tudják használni, integrálni és adaptálni a beszédfelismerési , ill. -bányászati motorokat, alkalmazásokat.
Learning outcomes
Ez a tantárgy a KKK rendeletben meghatározott, következő kompetenciák fejlesztését szolgálja:
Knowledge
No learning outcomes recorded.
Skills
No learning outcomes recorded.
Attitudes
No learning outcomes recorded.
Autonomy and responsibility
No learning outcomes recorded.
Oktatási módszertan
Heti 2/2 óra előadás tanteremben. Az előadások interaktív stílusban mérnöki megközelítésre törekszenek, rendszeres élő demonstrációkkal színesítve.
Tanulástámogató anyagok
Not provided.
Recommended preliminary knowledge for completing the subject
Knowledge type competencies
(azon előzetes ismeretek összessége, amelyek megléte nem kötelező, de a tantárgy eredményes teljesítését nagyban elősegíti)
Egyetemi matematikai alapképzés, programozási alapismeretek.
Skill type competencies
(azon előzetes képességek és készségek összessége, amelyek megléte nem kötelező, de a tantárgy eredményes teljesítését nagyban elősegíti)
nincs
Recommended (non-compulsory) preliminary competencies
(azon ajánlott (nem kötelező) előzetesen megszerzendő kompetenciák összessége, amelyek jelentősen hozzájárulnak a tantárgy eredményes teljesítéséhez)
Egyetemi matematikai alapképzés, programozási alapismeretek.
General rules
Követelmények:
a./ A szorgalmi időszakban:
Aláírás megszerzésének feltétele: otthoni feladat, választható vagy szakirodalom-tanulmányozásból vagy önálló beszédfelismerési feladat megoldásából tanulmány saját kezű elkészítése. Terjedelem: 5-10 oldal legyen a tartalmi rész (Arial betűtípus, max 12-es fontméret, normál sortáv, hasznos saját ábra lehet benne, átvett ábra nem számít, saját kód kommenttel számít).
Az otthoni feladat kiváló, szorgalmi időszakban történő teljesítése, valamint az előadások rendszeres aktív látogatása esetén (max. 2 hiányzás) megajánlott jegy kapható.
b./ A vizsgaidőszakban: szóbeli vagy írásbeli vizsga
Pótlási lehetőségek:
Az otthoni feladat különeljárási díj megfizetése mellett a pótlási időszak végéig adható le késedelmesen. Pót ill. javító vizsga a TVSZ szerint.
Assessment methods
In-term assessments
No detailed assessments provided.
Weight of in-term assessments
No weights provided.
Exam-period assessments
No detailed assessments provided.
Weight of exam elements
No weights provided.
Grade calculation
No grade thresholds provided.
Attendance requirements
No attendance requirements provided.
Rules for retake and resubmission
Not provided.
Short description
Not provided.
Detailed description
Not provided.
Recommended courses
Nincs. Tematikaütközés más tárgyakkal: nincs ilyen.
Workload to complete the subject
No workload breakdown provided.
Validity of subject requirements
Requirements valid from:
—
Requirements valid until:
—
Curriculum placement
No curriculum placements recorded for this subject version.