A tantárgyleírás hatályossága
Hatályosság kezdete:
—
Hatályosság vége:
—
| Subject name (Hungarian, English) |
Szövegbányászat
Text Mining
|
||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Subject code | BMEVITMAV03 | ||||||||||||
| Subject type | — | ||||||||||||
| Training Level | — | ||||||||||||
| Course types and hours (weekly/semester) |
|
||||||||||||
| Assessment type | vizsga | ||||||||||||
| Credits | 5 | ||||||||||||
| Subject coordinator |
Tikk Domonkos
|
||||||||||||
| Responsible department |
—
|
||||||||||||
| Faculty | |||||||||||||
| Subject website | — | ||||||||||||
| Primary curriculum type | — | ||||||||||||
| Direct prerequisites – Strong prerequisite | none | ||||||||||||
| Direct prerequisites – Weak prerequisite | none | ||||||||||||
| Direct prerequisites – Parallel prerequisite | none | ||||||||||||
| Direct prerequisites – Milestone prerequisite | none | ||||||||||||
| Direct prerequisites – Exclusion | none |
Objectives
Programme
Információ visszakeresés alapjai
- Adattárolás célravezető formái: Invertált indexelés, szófrekvencia és szótár file-ok, ritkamátrixok, ugró pointerek
- Különböző formátumú dokumentumok feldolgozása, index szavak kinyerése, szótövezés (Porter, Lovins), stopszó lista, karakter-átalakítás
- Keresések: Bool algebra alapúak, NOT kezelése, hierarchikus keresés, keresések optimalizálása, biword indexelés
- Index adtok tömörítése és a Wild-card keresés
- Paraméteres és helyfüggő (cím, kivonat, bevezetés, stb.) alapú indexelés és keresés, tf´ idf vektortér
- Indexelés és keresés XML dokumentumokban, XML adatbázisok
Webes keresés
- A webes keresés specialitásai, változás -> újraindexelés sebessége, rövid történeti áttekintés
- Oldal sorrendező algoritmus (Page Rank), téma, illetve viselkedés alapú page rank
- Hyperlink-Induced Topic Search (HITS), gyűjtő és tekintély lapok felderítése
- (közel) másolt lapokat felderítő algoritmus
- Webgráf tömörítésének eljárása
- Webes keresés infrastruktúrája
Keresést segítő módszerek: Csoportosítás, kategorizálás és tezaurusz
Csoportosítás (klaszterezés)
- Alulról felfelé, föntről lefelé építkező algoritmusok, K-közép algoritmus, Link alapú csoportosítás
- Számítási bonyolultság kezelése; dimenziószám csökkentése
- Csoportosítás és kategorizálás összevetése, csoportosítás alkalmazásai
Kategorizálás
- Kategorizálási módszerek osztályozása: bináris, többkategóriás, többcímkés és hierarchikus kategorizálás
- Hatékonyság mérése különböző kategorizálás-típusok esetén.
- Alapvető technikák megismerése: Naiv Bayes modell, legközelebbi szomszédok módszer, döntési fa módszerek, neurális hálózat alapú módszerek
- Tesztdokumentum-gyűjtemények
- Kategorizálás hierarchikus rendszerekbe
Tezaurusz
- Szinonima szótárból automatikusan kinyert tezaurusz
- Cooccurrence alapú tezaurusz, közelítő számítási módszerek
- Tezauruszok alkalmazása IR-ben, kvázi tezauruszok egyéb alkalmazásai
Információ kinyerés (IE)
- Különböző típusú információk folyószövegből, HTML oldalakról, stb. kinyerése, rendszerbe rakása
Napjainkban az Internet széleskörű elterjedésével és az ott található dokumentumok számának rohamos növekedésével kiemelt fontosságúvá vált az Internetet való keresés támogatása, az ott található adattömeg strukturált rendszerezése, hatékony tárolása. Ugyanez a probléma fellép nagyobb vállalatok, intézmények, ill. hivatalok belső dokumentumtárolási, -keresési, -rendszerezési, -archiválási feladataiban. A jellemzően nem, vagy kevéssé strukturált szöveges dokumentumok feldolgozásának és rendszerezésének kérdéseivel foglalkozik a szövegbányászat szakterülete.
A tárgy célja a szövegbányászat és a webes keresés területén alkalmazott modellezési eljárások és algoritmusok ismertetése.
Learning outcomes
Ez a tantárgy a KKK rendeletben meghatározott, következő kompetenciák fejlesztését szolgálja:
Knowledge
No learning outcomes recorded.
Skills
No learning outcomes recorded.
Attitudes
No learning outcomes recorded.
Autonomy and responsibility
No learning outcomes recorded.
Oktatási módszertan
:
Heti 2x2 óra előadás
Tanulástámogató anyagok
Not provided.
Recommended preliminary knowledge for completing the subject
Knowledge type competencies
(azon előzetes ismeretek összessége, amelyek megléte nem kötelező, de a tantárgy eredményes teljesítését nagyban elősegíti)
- Valószínűségszámítás alapjai
- Alapszintű algoritmuselméleti, halmazelméleti és algebrai ismeretek
Skill type competencies
(azon előzetes képességek és készségek összessége, amelyek megléte nem kötelező, de a tantárgy eredményes teljesítését nagyban elősegíti)
nincs
Recommended (non-compulsory) preliminary competencies
(azon ajánlott (nem kötelező) előzetesen megszerzendő kompetenciák összessége, amelyek jelentősen hozzájárulnak a tantárgy eredményes teljesítéséhez)
- Valószínűségszámítás alapjai
- Alapszintű algoritmuselméleti, halmazelméleti és algebrai ismeretek
General rules
Követelmények:
a. A szorgalmi időszakban: nagy zárthelyi a 13. tanítási héten
b. A vizsgaidőszakban: A vizsga módja: írásbeli
Megfelelő eredményű ZH és kiselőadás tartása vagy nagy házi feladat készítése esetén vizsgajegyet ajánlunk meg
Pótlási lehetőségek:
A zárthelyi pótlására a félév során egy lehetőséget biztosítunk, Vizsgaidőszakban az aláírás gyak. IV jelleggel szerezhető meg.
Assessment methods
In-term assessments
No detailed assessments provided.
Weight of in-term assessments
No weights provided.
Exam-period assessments
No detailed assessments provided.
Weight of exam elements
No weights provided.
Grade calculation
No grade thresholds provided.
Attendance requirements
No attendance requirements provided.
Rules for retake and resubmission
Not provided.
Short description
Not provided.
Detailed description
Not provided.
Recommended courses
Not provided.
Workload to complete the subject
No workload breakdown provided.
Validity of subject requirements
Requirements valid from:
—
Requirements valid until:
—
Curriculum placement
No curriculum placements recorded for this subject version.