Sztochasztikus modellek és adaptív algoritmusok

1.      Regresszió:

1.1     Legkisebb négyzetek (OLS) módszer alaptulajdonságainak átismétlése: ortogonális projekció, torzítatlanság, kovariancia mátrixa, Gauss-Markov tétel, kapcsolat a Maximum Likelihood (ML) becsléssel, erős konzisztencia, határeloszlás, aszimptotikus hatékonyság, konfidencia ellipszoidok.

1.2     LS általánosításai és kapcsolódó lineáris algebrai eredmények: Tikhonov regularizáció, legkisebb norma probléma, szinguláris érték felbontás (SVD), alacsony rangú közelítések, rekurzív legkisebb négyzetek, mátrix inverziós lemma, általánosított LS és speciális esetei: súlyozott LS, felejtési tényezők.

1.3     Kernel módszerek: nemparametrikus regresszió, reprodukáló magú Hilbert terek (RKHS), regularizáció RKHS terekben, reprezentációs tétel, Moore-Aronszain tétel, tipikus magfüggvények és indukált tanuló módszereik, fontos speciális esetek: szupport vektor klasszifikáció és regresszió.

1.4     Idősorok: erősen és gyengés stacionárius folyamatok, Wold reprezentáció, lineáris szűrők és tulajdonságaik (stabilitás, inverz szűrő, stb.), általános lineáris rendszerek, tipikus (pl., autoregresszív) modellek és becsléseik: előrejelzési hiba-, ML-, korrelációs- és instrumentális változók módszer.

2.      Markov döntési problémák (MDP):

2.1     Markov láncok alapfogalmainak átismétlése (megszámlálható állapotterek): kezdeti eloszlás, átmenet függvény, stacionárius eloszlás, ergodikusság.

2.2     MDP-k alapfogalmai és főbb típusai, például, sztochasztikus legrövidebb út (SSP) problémák. Irányítási politikák és értékelő függvények (várható diszkontált és ergodikus költség). Bellman operátor és tulajdonságai, kontrakció, monotonitás, optimalitási egyenletek, közelítési lehetőségek.

2.3     MDP-k főbb megoldási irányai: iteratív értékelő függvény közelítés (érték iteráció, Q-tanulás), keresés a politikák terében (politika iteráció, politikai gradiens), lineáris programozási megközelítések, számítási bonyolultság. Általánosítások: nem korlátos költségek, részleges megfigyelhetőség.

2.4     TD-tanulás: Monte Carlo közelítések, alkalmazhatósági együtthatók, TD(0), TD(1), TD(lambda) és változatai (online, offline, first-visit, every-visit), konvergencia tételek, általánosított TD-tanulás, optimista politika iteráció.

3.      Adaptív algoritmusok:

3.1     Általánosított iteratív algoritmusok és sztochasztikus approximáció, fix pont és gyökkeresési problémák, példák korábbi algoritmusok átfogalmazására.

3.2     Ljapunov függvény alapú konvergencia vizsgálat. Sztochasztikus gradiens módszer, konvergenciája és változatai: Kiefer-Wolfowitz algoritmus és a szimultán véletlen perturbáció (SPSA) módszere.

3.3     Pszeudo-kontrakció és monotonitási tulajdonságokon alapuló elemzések, és szemléltetésük a Bellman operátor példáján keresztül.

3.4     Általánosítások: időfüggő leképezések és változó paraméterek követése.