Modern Deep Learning Systems

1. Bevezetés a számítógépes látásba, alapfeladatok, nehézségek. Képfeldolgozás matematikai alapjai: konvolúció, Fourier transzformáció, szűrés frekvencia tartományban. 

2. Tanuló látás, mérőszámok. Lineáris osztályozás, költségfüggvények, optimalizálási módszerek. Neurális hálózatok alapjai: moduláris backpropagation, többrétegű neurális hálók. 

3. Konvolúciós neurális hálók, Gépi látásban gyakran használt háló architektúrák. Tanuló látás gyakorlati problémái és praktikái. Konvolúciós hálók vizualizációja, GBP, ellenséges példák. 

4. Szekvenciák modellezése, időfüggés. Visszacsatolt neurális háló architektúrák, LSTM, BPTT. Figyelem és ön-figyelem mechanizmusok, Transzformer Architektúrák.  

5. Deep Learning a gyakorlatban, Konvergencia biztosítása, overfitting elkerülése. Hiperparaméterek keresése, modelltömörítés, ritkítás és együttesek. 

6. Szegmentálás típusai, szemantikus szegmentáló módszerek, U-Net, felskálázási technikák. ASPP és CRF kiegészítések. Adatbázisok, mérőszámok. Videóanalízis architektúrális megoldásai. 

7. Detektáló architektúrák, R-CNN variánsok, YOLO. Fontos metrikák és adatbázisok, anchor-alapú és anchor nélküli megoldások. Mask- és egyéb R-CNN kiegészítések.  

8. Transzformer- alapú vizuális neurális hálózatok, ViT, SWin Transformer. Transzfomert-alapú detektálás és követés, DeTR, MoTR, TrackFormer. 

9. Nagy nyelvi modellek alapjai, BERT, GPT, LLaMA. Multimodális módszerek (kép-szöveg-hang), CLIP. 

10. Generatív hálózatok. Textúra generálás, képgenerálás. Autoencoder, VAE, GAN hálózatok elve, és változatai. Diffúziós módszerek. 

11. Vizuális intelligencia megerősítéses tanulás segítségével, DQN, REINFORCE, Actor-Critic. Számítógépes játékok ágenseinek létrehozása, kemény vizuális figyelem. 

12. Felügyelt tanulás hátrányai és limitációi, kevés adatból történő tanulás lehetőségei: sim2real, few-shot. Önfelügyelt tanulás fogalmai, fajtái. Pre-Text feladatok, Generatív módszerek, Masked Autoencoder. Kontrasztív tanulás feladata, költségfüggvények, megoldások. SimCLR, MoCo, DINO.