Mélytanulás

1. Mélytanulás előzményei, CRISP-DM módszertan, mélytanulás elsődleges szoftverarchitektúrája (pl. Google Colab, NVIDIA Docker, Kubernetes, SLURM, TensorFlow, TensorFlow-Keras, PyTorch).
2. Forward propagation, backward propagation, hiba-visszaterjesztés, hibafüggvények, GPU implementáció, mélytanulás elsődleges hardverarchitektúrája (pl. CPU, különböző párhuzamos architektúrák, hardver architektúrák skálázása, elsődleges hardver komponensek, hardver architektúrák teljesítményének összehasonlítása).
3. Alapvető hiperparaméterek és ezek hatása a tanításra (pl. epoch szám, batch méret, aktivációs függvények, optimalizációs algoritmusok és tanítási ráta, stb.).
4. Mélytanuló keretrendszer-modulok ismertetése, neurális hálózatok mint számítási gráfok, paraméterek tanítása.
5. Automatikus deriválás a mélytanuló keretrendszerekben, komplex összeköttetések (residual és skip kapcsolatok), adatok és tanítás vizsgálata és monitorozása (pl. TensorBoard, WandB.ai eszközökkel).
6. Regularizációs módszerek mély neurális hálózatokban (pl. korai megállás, dropout, batch normalization, layer normalization, stb.).
7. Konvolúciós neurális hálózat alapok, hiba-visszaterjesztés a konvolúciós rétegekben, előtanított neurális hálózatok, transfer learning.
8. Népszerű konvolúciós neurális hálózat architektúrák, betanított modell gyűjtemények, bináris inferencia modulok.
9. Rekurrens neurális hálózatok alapjai, alacsony és magas szintű implementációk (Python, C++ és cuDNN).
10. Sequence-to-sequence (seq2seq) modellek, transzformer architektúra szekvenciális adatok modellezéséhez.
11. Önfelügyelt tanulás (Self-Supervised Learning, SSL) a természetes nyelvfeldolgozásban, transzformer alapú NLP alkalmazások.
12. Önfelügyelt tanulás a gépi látásban, kontrasztív és nem-kontrasztív módszerek.
13. Megerősítéses mély tanulás, Deep Q Learning és kapcsolódó szoftvereszközök.
14. Gráf neurális hálózatok alapjai és szoftvereszközei.

A gyakorlatok/laborok részletes tematikája:

1. GPU alapú konténerizáció, GPU alapú hiba-visszaterjesztés.
2. Hiperparaméter optimalizálás.
3. Mélytanulás alapú osztályozási és regressziós feladat kiértékeléssel.
4. Előtanított neurális hálózatok továbbtanítása a gépi látásban.
5. Mélytanulás alapú beszédtechnológiai modellek.
6. Transzformer alapú természetes nyelvfeldolgozás (NLP, Natural Language Processing) alkalmazások.
7. Gráf neurális hálózatok (pl. csomópont osztályozás, gráf regresszió, rácsgráf szegmentáció, stb.).